JA
今すぐ始める

連携 · 自動化とスクレイピング

Use HProxy with cURL.

何かに組み込む前に、コマンドラインからHProxyのプロキシをテストします。
  • 3ステップ
  • 動くコード
  • HTTPとSOCKS5
  • プロキシURLにログイン

プロキシを使う理由

cURLでプロキシを使う理由

cURLはほぼすべてのシステムに入っているコマンドラインのHTTPクライアントで、プロキシが動くことを確かめる最速の方法です。

スクレイパーをデバッグする前に、プロキシ自体が正常かを確かめてください。プロキシ経由でcURLを1回呼び出し、返ってくるIPを確認すれば、プロキシの問題とコードの問題を切り分けられます。

Setup

cURLでHProxyを設定する

  1. 1

    ダッシュボードでホスト、ポート、ログインを確認します。

  2. 2

    -xでプロキシを、-Uでログインを渡します。

  3. 3

    IPエコーのエンドポイントにアクセスし、想定どおりのアドレスと国が返ることを確認します。

知っておくべきこと

これで正しい国が返るのにツールではそうならない場合、問題はツールの設定にあり、プロキシ側は正常です。

ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。

cURL, with HProxy

curl -x example.hproxy.com:8080 \
  -U "user-country-us:pass" \
  https://ipinfo.io/json

cURL件の質問

よくある質問

コマンドラインからプロキシをテストするには?

受け取ったアドレスをそのまま返すエンドポイントにプロキシ経由でリクエストを1回送り、返ってきた内容を読んでください。この1つのコマンドで、ほかのすべてが左右される問題に決着が付きます: プロキシがそもそも動くのか、そして実際にどの出口アドレスと国になったのか。アプリケーションで何かをデバッグする前に、これを行ってください。

cURLは動くのにスクレイパーが動きません。どうすればよいですか?

それならプロキシは正常で、問題はツールの設定にあります。このテストを最初に行う価値があるのはまさにそのためです。クライアントが正しいスキームにプロキシを設定しているか、認証情報が送られているか、HTTPSで気付かないうちに直接接続に戻っていないかを確認してください。

プロキシが追加しているヘッダーを確認するには?

受け取ったヘッダーをそのまま返すエンドポイントにリクエストを送り、内容を読みます。ご自身のアドレスがどこかに現れればプロキシは透過型、ご自身のアドレスなしでViaやX-Forwarded-Forがあれば匿名型、どれもなければエリートです。これが、思い込みに頼らずに測った匿名性の等級です。

プロキシ経由でcURLがSSLエラーで失敗するのはなぜですか?

たいていは、何かが接続をトンネルせずに傍受しているからです。独自の検査プロキシを動かす企業ネットワークでは普通のことで、それ以外では異常です。検証を無効にするとエラーは消えますが原因が隠れるため、そのフラグに手を伸ばす前に原因を理解する価値があります。

cURLでSOCKS5を使うには?

SOCKSプロキシ専用のオプションが一般的なプロキシのオプションとは別にあり、さらにホスト名をローカルの代わりにプロキシ側で解決する方式もあります。リモートで解決する方式を選んでください。ローカルの方式ではDNS漏えいが起き、あなた自身のリゾルバーに訪問先がすべて見えてしまいます。

準備ができたら、いつでもどうぞ。

ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。