連携 · 自動化とスクレイピング
PlaywrightでHProxyを使う。
- 3ステップ
- 動くコード
- HTTPとSOCKS5
- プロキシURLにログイン
プロキシを使う理由
Playwrightでプロキシを使う理由
PlaywrightはMicrosoftの最新のブラウザ自動化フレームワークで、高速、クロスブラウザ対応、そしてプロキシ対応が後付けでなく最初からAPIに組み込まれています。
Playwrightは分離されたブラウザコンテキストを一度に多数動かせます。それぞれに専用のレジデンシャルの出口を与えれば、1つのスクリプトが、忙しい1つのアドレスの代わりに多数の独立した訪問者になります。
Setup
PlaywrightでHProxyを設定する
- 1
ダッシュボードでホスト、ポート、ログインを確認します。
- 2
launch()にプロキシのオブジェクトを渡すか、コンテキストごとに別の出口を使うならnewContext()に渡します。
- 3
Playwrightは認証のやり取りを自分で処理するので、追加のライブラリは不要です。
知っておくべきこと
launch()の代わりにnew_context()でプロキシを設定すると、各コンテキストにプールから新しいIPが割り当てられます。
ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。
Playwright、HProxyで
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(proxy={
"server": "http://example.hproxy.com:8080",
"username": "user-country-us",
"password": "pass",
})
page = browser.new_page()
page.goto("https://ipinfo.io/json")Playwright件の質問
よくある質問
プロキシはlaunchとnewContextのどちらで設定すべきですか?
ほぼすべての場合でnewContextです。起動時に設定するとブラウザ全体に1つのプロキシが適用されますが、コンテキストごとに設定すれば、各コンテキストがプロキシプールから別々の出口を使えます。1つのブラウザプロセスで別々のアイデンティティによる並列作業ができるのはそのためです。
Playwrightで帯域幅を減らすには?
リクエストをルーティングし、解析しないリソースタイプを中止してください。画像、フォント、メディア、そして多くの場合スタイルシートがページの重さの大部分を占め、ギガバイト単位のレジデンシャルの課金ではそのすべてにお金を払うことになります。これらをブロックすると、DOMはそのままで転送量がたいてい1桁減ります。
Playwrightは本物のブラウザより検出されやすいですか?
本物のブラウザエンジンを動かすので、描画は本物です。見抜かれる原因はその周りのすべてです: 人間の操作がないこと、規則的すぎるリクエストのタイミング、普通のユーザーと一致しない標準設定。手がかりになるのは、自動化フレームワークそのものより振る舞いのほうがはるかに多いのです。
Playwrightでスティッキーセッションを使えますか?
使えます。ログインを保持するものなら使うべきです。スティッキーの長さを指定して認証情報を依頼し、コンテキスト全体でそれを使えば、流れの途中で出口が変わりません。認証済みの手順の途中で新しいアドレスになると、戻ってきた訪問者というより盗まれたセッションに見えます。
準備ができたら、いつでもどうぞ。
ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。

