プロキシを使う理由
Python Requestsでプロキシを使う理由
RequestsはPythonで最も広く使われているHTTPライブラリで、スクリプト、スクレイパー、APIクライアントの標準的な選択肢です。
1つのアドレスから繰り返しサイトにアクセスするスクリプトは、まさにレート制限が捕まえるために作られたパターンです。Requestsをローテーティングレジデンシャルプール経由にするとトラフィックが分散され、各アドレスが目立たずに済みます。
Setup
Python RequestsでHProxyを設定する
- 1
HProxyのダッシュボードからプロキシのホスト、ポート、ログインをコピーします。
- 2
httpとhttpsの両方を同じプロキシURLに向けたproxies辞書を作ります。
- 3
すべてのリクエストに渡すか、セッションに一度設定します。
知っておくべきこと
ユーザー名にターゲティングが入ります: user-country-deでドイツから出て、-city-frankfurtを追加するとさらに細かくなります。
ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。
Python Requests、HProxyで
import requests
proxies = {
"http": "http://user-country-us:[email protected]:8080",
"https": "http://user-country-us:[email protected]:8080",
}
r = requests.get("https://ipinfo.io/json", proxies=proxies)
print(r.json())Python Requests件の質問
よくある質問
requestsでまだ本当のIPが表示されるのはなぜですか?
たいていは、proxies辞書が1つのスキームしかカバーしていないからです。httpとhttpsの両方のキーを設定してください。HTTPSのURLへのリクエストはhttpsの項目を使い、httpだけの辞書ではそのリクエストが気付かないうちに直接送られます。思い込まずに、セッション経由でIPエコーのエンドポイントを取得して確認してください。
すべてのリクエストで1つのプロキシを使うには?
各呼び出しに引数を渡す代わりに、Sessionオブジェクトに一度設定して、そのセッションを全体で使ってください。コードが減り、リクエスト間で接続が維持され、引数を忘れたせいで1つの呼び出しが気付かないうちに直接接続してしまう種類のバグもなくなります。
スクレイパーがブラウザでは動くのにrequestsでは失敗するのはなぜですか?
最も多いのはTLSフィンガープリントです。PythonのHTTPクライアントが送るハンドシェイクは、ヘッダーをどれほど丁寧に真似てもブラウザのものとは異なり、検出システムはリクエストが復号される前にそれを読み取ります。ユーザーエージェントを真似ても、その下のハンドシェイクは変わりません。
準備ができたら、いつでもどうぞ。
ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。

