JA
今すぐ始める

連携 · 自動化とスクレイピング

SeleniumでHProxyを使う。

Seleniumで、認証付きのHProxyのプロキシ経由で本物のブラウザを動かします。
今すぐ始めるガイド全文を読む
  • 3ステップ
  • 動くコード
  • HTTPとSOCKS5
  • プロキシURLにログイン

プロキシを使う理由

Seleniumでプロキシを使う理由

Seleniumは本物のブラウザを自動化します。JavaScriptを描画して人間のように振る舞うものにしか応じないサイトで選ばれるツールです。

ヘッドフルのブラウザは、すべてのセッションが同じIPから来るまでは説得力があります。セッションごとにレジデンシャルの出口を使うことで、Seleniumはサイトにチャレンジされ始める前に、ほんの数回を超えて規模を拡大できます。

Setup

SeleniumでHProxyを設定する

  1. 1

    Selenium Wire(pip install selenium-wire)をインストールします。素のSeleniumにない認証付きプロキシへの対応が追加されます。

  2. 2

    seleniumwire_optionsのproxy設定にホスト、ポート、ログインを入れます。

  3. 3

    いつもどおりドライバーを起動します。ブラウザが行うすべてのリクエストがプロキシ経由で出るようになります。

知っておくべきこと

素のSeleniumはプロキシのユーザー名とパスワードを渡せません。その回避策の定番がSelenium Wireです。

ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。

Selenium、HProxyで

from seleniumwire import webdriver

opts = {"proxy": {
  "http":  "http://user-country-us:[email protected]:8080",
  "https": "http://user-country-us:[email protected]:8080",
}}
driver = webdriver.Chrome(seleniumwire_options=opts)
driver.get("https://ipinfo.io/json")

Selenium件の質問

よくある質問

Seleniumがプロキシのユーザー名とパスワードを無視するのはなぜですか?

素のSeleniumはプロキシの認証情報をまったく送れないからです。ブラウザに渡すproxy-serverフラグはホストとポートしか受け付けず、認証の欄がないため、認証付きのプロキシはそのまま失敗します。その回避策の定番がSelenium Wireで、上の例が素のSeleniumの代わりにそれを使っているのはそのためです。

Selenium Wireの代わりにIPホワイトリストを使えますか?

使えます。固定のサーバーならそのほうが簡単です。マシンのアドレスをプロバイダーのホワイトリストに登録すれば、プロキシは認証情報なしで接続を受け付けるので、素のSeleniumでもホストとポートだけで動きます。そのマシンのアドレスが変わった時点で動かなくなります。

SeleniumはWebRTCで本当のIPを漏らしますか?

漏らすことがあります。本物のブラウザを動かしており、WebRTCはプロキシ経由の経路の完全に外側でアドレスを調べるからです。プロキシ自体は正常に動いており、そもそもそのトラフィックを見られる位置にないだけです。出口のアドレスがアイデンティティとして重要なら、ブラウザのオプションでWebRTCを無効にするか制限してください。

Seleniumのセッション間でIPをローテーションさせるには?

動作中のドライバーのプロキシを変えようとする代わりに、新しい認証情報で新しいドライバーを起動してください。ローテーティングのプロキシなら自動で別の出口になり、スティッキーセッションなら新しいセッションIDを依頼します。1つのドライバーを使い回すと同じブラウザプロファイルも残るため、いずれにしてもローテーションの意味がなくなります。

準備ができたら、いつでもどうぞ。

ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。