連携 · 自動化とスクレイピング
SeleniumでHProxyを使う。
- 3ステップ
- 動くコード
- HTTPとSOCKS5
- プロキシURLにログイン
Setup
SeleniumでHProxyを設定する
- 1
Selenium Wire(pip install selenium-wire)をインストールします。素のSeleniumにない認証付きプロキシへの対応が追加されます。
- 2
seleniumwire_optionsのproxy設定にホスト、ポート、ログインを入れます。
- 3
いつもどおりドライバーを起動します。ブラウザが行うすべてのリクエストがプロキシ経由で出るようになります。
知っておくべきこと
素のSeleniumはプロキシのユーザー名とパスワードを渡せません。その回避策の定番がSelenium Wireです。
ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。
Selenium、HProxyで
from seleniumwire import webdriver
opts = {"proxy": {
"http": "http://user-country-us:[email protected]:8080",
"https": "http://user-country-us:[email protected]:8080",
}}
driver = webdriver.Chrome(seleniumwire_options=opts)
driver.get("https://ipinfo.io/json")Selenium件の質問
よくある質問
Seleniumがプロキシのユーザー名とパスワードを無視するのはなぜですか?
素のSeleniumはプロキシの認証情報をまったく送れないからです。ブラウザに渡すproxy-serverフラグはホストとポートしか受け付けず、認証の欄がないため、認証付きのプロキシはそのまま失敗します。その回避策の定番がSelenium Wireで、上の例が素のSeleniumの代わりにそれを使っているのはそのためです。
Selenium Wireの代わりにIPホワイトリストを使えますか?
使えます。固定のサーバーならそのほうが簡単です。マシンのアドレスをプロバイダーのホワイトリストに登録すれば、プロキシは認証情報なしで接続を受け付けるので、素のSeleniumでもホストとポートだけで動きます。そのマシンのアドレスが変わった時点で動かなくなります。
SeleniumはWebRTCで本当のIPを漏らしますか?
漏らすことがあります。本物のブラウザを動かしており、WebRTCはプロキシ経由の経路の完全に外側でアドレスを調べるからです。プロキシ自体は正常に動いており、そもそもそのトラフィックを見られる位置にないだけです。出口のアドレスがアイデンティティとして重要なら、ブラウザのオプションでWebRTCを無効にするか制限してください。
Seleniumのセッション間でIPをローテーションさせるには?
動作中のドライバーのプロキシを変えようとする代わりに、新しい認証情報で新しいドライバーを起動してください。ローテーティングのプロキシなら自動で別の出口になり、スティッキーセッションなら新しいセッションIDを依頼します。1つのドライバーを使い回すと同じブラウザプロファイルも残るため、いずれにしてもローテーションの意味がなくなります。
準備ができたら、いつでもどうぞ。
ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。

