JA
今すぐ始める

連携 · 自動化とスクレイピング

PuppeteerでHProxyを使う。

Puppeteerとpage.authenticateで、ヘッドレスChromeをHProxyのプロキシ経由で動かします。
  • 3ステップ
  • 動くコード
  • HTTPとSOCKS5
  • プロキシURLにログイン

プロキシを使う理由

Puppeteerでプロキシを使う理由

PuppeteerはNodeからヘッドレス(またはヘッドフル)のChromeを動かすツールで、JavaScriptの世界で描画の重いスクレイピングや自動テストの定番です。

データセンターのIPから動くヘッドレスChromeは、サイトが一目で見抜くフィンガープリントです。レジデンシャルの出口を使えばその手がかりのうちネットワーク側が消え、判断されるのはブラウザの振る舞いだけになります。

Setup

PuppeteerでHProxyを設定する

  1. 1

    ホストとポートを指定した--proxy-server付きでChromeを起動します。

  2. 2

    プロキシにはログインが必要なので、ページを開く前にユーザー名とパスワードでpage.authenticate()を呼び出します。

  3. 3

    いつもどおりページを開きます。ページの読み込み全体がプロキシ経由になります。

知っておくべきこと

ユーザー名とパスワードは--proxy-serverフラグには入れず、page.authenticate()で渡します。

ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。

Puppeteer、HProxyで

import puppeteer from "puppeteer";

const browser = await puppeteer.launch({
  args: ["--proxy-server=example.hproxy.com:8080"],
});
const page = await browser.newPage();
await page.authenticate({ username: "user-country-us", password: "pass" });
await page.goto("https://ipinfo.io/json");

Puppeteer件の質問

よくある質問

proxy-serverフラグがユーザー名とパスワードを受け付けないのはなぜですか?

そのChromeのフラグはホストとポートしか受け付けないからです。認証情報は代わりにpage.authenticateで渡し、ページを開く前に呼び出します。Puppeteerのプロキシ設定で、プロキシが間違っているように見える認証エラーが返る最も一般的な原因がこれです。

ページごとに認証する必要がありますか?

必要です。認証はブラウザ単位でなくページ単位で設定されるため、新しく開く各ページで、ページを開く前に呼び出す必要があります。2つ目のページで忘れると、断続的に見えて実は完全に再現する失敗になります。

Puppeteerのページごとに別のIPを割り当てるには?

ページを増やす代わりに、アイデンティティごとに別のブラウザインスタンスを起動してください。プロキシのフラグは起動時に設定され、1つのブラウザ内のページはそれを共有するからです。ローテーティングのプロキシなら、新しく起動するたびに自動で新しい出口になります。

Puppeteerで画像のダウンロードを止めるには?

リクエストのインターセプトを有効にし、リソースタイプがimage、font、media、stylesheetのリクエストを中止してください。ヘッドレスブラウザは本物のブラウザと同じく標準でそれらをすべて取得するため、ギガバイト単位の課金では最も効果の大きい変更です。

準備ができたら、いつでもどうぞ。

ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。