JA
今すぐ始める

連携 · 自動化とスクレイピング

Python RequestsでHProxyを使う。

3行で、requestsライブラリをHProxyのレジデンシャルIP経由にします。
  • 3ステップ
  • 動くコード
  • HTTPとSOCKS5
  • プロキシURLにログイン

プロキシを使う理由

Python Requestsでプロキシを使う理由

RequestsはPythonで最も広く使われているHTTPライブラリで、スクリプト、スクレイパー、APIクライアントの標準的な選択肢です。

1つのアドレスから繰り返しサイトにアクセスするスクリプトは、まさにレート制限が捕まえるために作られたパターンです。Requestsをローテーティングレジデンシャルプール経由にするとトラフィックが分散され、各アドレスが目立たずに済みます。

Setup

Python RequestsでHProxyを設定する

  1. 1

    HProxyのダッシュボードからプロキシのホスト、ポート、ログインをコピーします。

  2. 2

    httpとhttpsの両方を同じプロキシURLに向けたproxies辞書を作ります。

  3. 3

    すべてのリクエストに渡すか、セッションに一度設定します。

知っておくべきこと

ユーザー名にターゲティングが入ります: user-country-deでドイツから出て、-city-frankfurtを追加するとさらに細かくなります。

ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。

Python Requests、HProxyで

import requests

proxies = {
  "http":  "http://user-country-us:[email protected]:8080",
  "https": "http://user-country-us:[email protected]:8080",
}
r = requests.get("https://ipinfo.io/json", proxies=proxies)
print(r.json())

Python Requests件の質問

よくある質問

requestsでまだ本当のIPが表示されるのはなぜですか?

たいていは、proxies辞書が1つのスキームしかカバーしていないからです。httpとhttpsの両方のキーを設定してください。HTTPSのURLへのリクエストはhttpsの項目を使い、httpだけの辞書ではそのリクエストが気付かないうちに直接送られます。思い込まずに、セッション経由でIPエコーのエンドポイントを取得して確認してください。

すべてのリクエストで1つのプロキシを使うには?

各呼び出しに引数を渡す代わりに、Sessionオブジェクトに一度設定して、そのセッションを全体で使ってください。コードが減り、リクエスト間で接続が維持され、引数を忘れたせいで1つの呼び出しが気付かないうちに直接接続してしまう種類のバグもなくなります。

スクレイパーがブラウザでは動くのにrequestsでは失敗するのはなぜですか?

最も多いのはTLSフィンガープリントです。PythonのHTTPクライアントが送るハンドシェイクは、ヘッダーをどれほど丁寧に真似てもブラウザのものとは異なり、検出システムはリクエストが復号される前にそれを読み取ります。ユーザーエージェントを真似ても、その下のハンドシェイクは変わりません。

requestsはプロキシ経由でDNSを解決しますか?

完全なURLを渡されたHTTPプロキシは、通常プロキシ側でホスト名を解決します。SOCKSでは使うスキームによります: リモートで解決する方式なら名前解決はプロキシ側に留まり、もう一方はローカルで解決するためDNS漏えいが起き、あなた自身のリゾルバーに訪問先がすべて見えてしまいます。

準備ができたら、いつでもどうぞ。

ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。