リクエストは成功し、HTMLが届き、その中にデータがありません。同じページをブラウザで見ると、すべてがそこにあります。何も故障していません。サイトがクライアント側でレンダリングしているのです。つまり、取得したドキュメントはほぼ空の舞台で、コンテンツは読み込み後に、データを取得してページに書き込むJavaScriptによって組み立てられます。HTTPクライアントはブラウザが受け取ったものとまったく同じものを受け取りました。その後ブラウザが、クライアントのしない作業をしたのです。
サイトがどの構成を使っているかは、どのスクレイピングでも最初の診断の問いで、数秒で答えられます。ブラウザのソース表示は届いたままのドキュメントを示し、開発者ツールの要素インスペクターはスクリプトの実行後のツリーを示します。価格が後者にあって前者にないなら、クライアント側のレンダリングを見ています。次にネットワークタブが、より役に立つ事実を示します。スクリプトがデータをどこから得たかで、それはほぼ必ず、クライアントが直接行えるすっきりしたJSONのリクエストです。
その観察が、道具箱全体の順序を決めます。レンダリングされるページへの最善の対応は、たいていレンダリングしないことです。元のデータのエンドポイントを呼び出し、わずかな転送量で構造化された項目を受け取るのです。それとほぼ同じくらい良いのは、サーバーでレンダリングするフレームワークが、届いたHTMLの中にJSONのかたまりとして完全な状態を埋め込んでいることです。現行世代のReactやNext.jsのサイトはscriptタグの中にそれを持っており、そのかたまりを解析すれば、何も実行せずにページが知っているすべてが得られます。どちらもない場合に限って、重い選択肢が出番を得ます。ページを本当に実行するヘッドレスブラウザで、それに伴うコストと検知されやすさがあります。
中間のケースは、今やそれがよくあるものなので、別途触れておく価値があります。ハイドレーション、つまりサーバーが本物のHTMLを届け、スクリプトがその後に対話性を付け加えるパターンでは、多くの現代のページが生のドキュメントからスクレイピングでき、空の殻の時代は部分的に終わっています。罠は反転します。取得時に存在したコンテンツが、読み込み後に置き換えられることがあるのです。より新しいリクエストで価格が更新されたり、地域ごとの別バージョンに差し替えられたりします。そのため、取得したHTMLが完全に見えても、利用者が見るものと一致させるにはレンダリングが必要なことがあります。
プロキシの計画では、レンダリングはすべてを掛け算で増やします。レンダリングしたページの読み込みは、スクリプト、データの呼び出し、アセットと数十のリクエストを発生させ、それぞれが出口を通るため、GB単位の課金はレンダリングの影響を最も強く受けます。そして増えた表面、本物のブラウザの振る舞いも含めて、まさに検知システムが次に目を向ける場所です。この判断は、プロジェクトごとより対象ごとに下す価値があるほど重大です。必要なページはレンダリングし、それ以外ではデータの層を取得してください。
よくある質問
ページのスクレイピングにJavaScriptのレンダリングが必要かどうかは、どうすればわかりますか?
届いたドキュメントとライブのツリーを比べてください。ソース表示と要素インスペクターです。スクリプトの実行後にだけデータが存在するなら、クライアント側のレンダリングです。次にネットワークタブを開き、データがどこから来たかを探してください。直接呼び出せるJSONのエンドポイントがたいてい見つかり、その発見によって、レンダリングの問題自体が不要になることがよくあります。
ヘッドレスブラウザなしでJavaScriptのサイトをスクレイピングできますか?
非常に多くの場合できます。ページ自身のデータのエンドポイントは直接呼び出せ、サーバーでレンダリングするフレームワークは完全な状態をHTMLの中にJSONとして埋め込んでおり、一回の解析で読めます。ヘッドレスブラウザは、データが本当に実行後にしか存在しないページのための正しい最後の手段です。
ハイドレーションとは何で、スクレイピングでなぜ重要なのですか?
ハイドレーションとは、サーバーが完全なHTMLを届け、その上にクライアントのスクリプトが対話性を付け加えるパターンです。重要なのは、そうしたページが取得したドキュメントからスクレイピングでき、空の殻という前提を覆すからです。注意点がひとつあります。スクリプトは読み込み後に届いたコンテンツを置き換えることがあるため、ライブで更新されるデータでは、解析したものと利用者が今見ているものがずれることがあります。
JavaScriptのレンダリングは帯域幅を多く消費しますか?
大幅に消費します。ページを実行すると、スクリプト、データ、アセットのリクエストの連鎖がすべて出口を通じて発生し、ドキュメントだけを取得する場合の軽く1桁上になります。GB単位のレジデンシャルの料金では、それがそのままお金になります。不要なリソースの種類をブロックすれば多くを取り戻せ、レンダリングを省いてデータの層を使えば、ほぼすべてを取り戻せます。
用語集全体に戻る。

