JA
今すぐ始める

用語集

スクレイピングと自動化

ヘッドレスブラウザ

ウィンドウを表示せずに動く本物のブラウザ。自動化でJavaScriptの多いページを描画するのに使われます。

ヘッドレスブラウザとは、人が見るグラフィカルなウィンドウなしで動く、完全なブラウザ、ChromeやFirefoxのことです。本物のブラウザとまったく同じようにページをレンダリングし、JavaScriptを実行して同じDOMを構築しますが、人間の代わりにコードで操作されます。それが、通常のHTTPリクエストでは読めないサイトをスクレイピングするためのツールになる理由です。

難点は、ヘッドレスモードが痕跡を残すことです。かつてはヘッドレスのフラグそのものが検知可能で、今でもヘッドレスのインスタンスには、本物のユーザーセッションにあるプラグイン、正確なレンダリングの癖、操作のパターンが欠けがちで、そのすべてをフィンガープリンティングが拾えます。

そのため、ヘッドレスブラウザはレンダリングには必要ですが、気づかれないままでいるには十分ではありません。ネットワークの手がかりを直すためにレジデンシャルプロキシと、残りを直すためにフィンガープリントと振る舞いの管理と組み合わせて使います。

コストの面はたいてい過小評価されており、GB単位の課金では、それが静かに予算を壊すものになります。ブラウザはブラウザと同じようにページを取得します。すべての画像、フォント、スタイルシート、トラッキングのスクリプト、動画のプリロードです。役に立つデータが50キロバイトのHTMLにすぎない商品ページが、合計で2〜3メガバイトを取得することもあります。それをレジデンシャルの帯域幅での大きな作業全体に掛け合わせれば、請求書の大半はブラウザが生んだものになります。

他のあらゆる面でも重くなります。ヘッドレスブラウザのインスタンスは数百メガバイトのメモリと本格的なCPUを消費し、HTTPリクエストはほとんど何も消費しないため、同じマシンで維持できる並行性は1桁下がります。その制約は、リクエストごとの速度差より重要になることがよくあります。

そのため、最初に問う価値があるのは、どう上手に動かすかより、そもそも必要かどうかです。JavaScriptでレンダリングされているように見える非常に多くのページは、ページ自身が呼び出すJSONのエンドポイントから供給されており、そのエンドポイントを直接呼び出せば、レンダリングなしで同じデータをわずかなサイズで得られます。ネットワークタブでそれを見つけることが、多くの場合、スクレイピングのプロジェクトで最も価値のある1時間になります。

本当にレンダリングが必要なときは、解析しないものをブロックしてください。主要な自動化フレームワークはどれもリソースの種類でリクエストを傍受でき、画像、フォント、メディア、スタイルシートを拒否すれば、本来の目的であるDOMはそのままに、帯域幅を劇的に削減できます。

よくある質問

スクレイピングにヘッドレスブラウザは必要ですか?

データがJavaScriptの実行まで本当に存在しない場合だけで、それは見た目ほど多くはありません。ページが直接呼び出せるJSONのエンドポイントから供給されていないか確認してください。それならレンダリングなしで同じデータをはるかに小さく速く得られます。より簡単な道がないことを確認してから、ブラウザに手を伸ばしてください。

ヘッドレスブラウザを使うとき、帯域幅を減らすにはどうすればよいですか?

リクエストを傍受し、解析しないリソースの種類をブロックしてください。画像、メディア、フォント、通常はスタイルシートもです。主要なフレームワークはどれもこれに対応しています。DOMをそのままに、ページの重さが1桁減ることがよくあり、それはGB単位のレジデンシャルの課金ではきわめて大きな意味を持ちます。

ウェブサイトはヘッドレスブラウザを検知できますか?

できます。そしてそれを見えない本物のブラウザとして扱うことが、よくある間違いです。かつてのヘッドレスのフラグ以外にも、インスタンスは公開するプロパティ、存在するプラグインやフォント、レンダリングの振る舞い、そして何より人間の操作がまったくないこと、つまりマウスの動きもスクロールも読むための間もないことで異なりがちです。単一のプロパティより、振る舞いのほうが確実に正体を明かします。

ヘッドレスブラウザはHTTPリクエストより遅いですか?

時間でもリソースでも劇的に遅いです。ページ全体をダウンロードしてレンダリングし、各インスタンスが数百メガバイトのメモリと本格的なCPUを消費します。実際の結果として、1台のマシンで維持できる並行性はおよそ1桁下がります。

用語集全体に戻る。

HProxy.

定義だけで分かることには限りがあります。 実行と 実際のターゲット.

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy