APIスクレイピング
HTMLを解析する代わりに、ページが使っているJSONのエンドポイントを呼び出してデータを集めること。それがある場合、たいてい最も速く、安く、確実な方法です。
APIスクレイピングとは、ページ自身が使っている情報源に向かうことです。ほとんどの現代のサイトはデータをHTMLに埋め込まず、殻を送り、それから背景でJSONのエンドポイントから本物のコンテンツを取得します。それらのエンドポイントはサイト自身のフロントエンドに提供するために存在し、ほとんどの場合、直接呼び出すことができ、解析が必要なレンダリングされたページの代わりに構造化されたデータを受け取れます。利用できるなら、それはほぼ必ず正しい答えです。
その利点は、この用語集の他のすべてにわたって積み重なります。レンダリングを省けるため、ヘッドレスブラウザもそのコストも不要です。JSONはすでに構造化されているため解析を省け、レイアウトの変更に対して保守すべきセレクターもありません。画像、フォント、スクリプトを取得しないため、転送するバイトはわずかになり、GB単位の課金ではそのまま節約になります。そしてデータはたいてい、ページが示すものよりきれいで完全です。エンドポイントは、フロントエンドが表示しないことにした項目もよく返すからです。
それを見つけるのは、繰り返し使える技術です。ブラウザのネットワークタブを開き、JSONを返すリクエストに絞り込み、欲しいデータが現れるとき、つまり読み込み時、スクロール時、フィルターのクリック時に、どのリクエストが発生するかを観察してください。ページ分割とパラメータはそれらのリクエストに見えているため、サイトが何を尋ねているかを読むことで、2ページ目、特定のカテゴリー、日付の範囲の求め方がわかります。ネットワークタブでのその30分が、多くの場合、プロジェクト全体で最も価値のある作業です。
誠実な注意点が、これを魔法にしないようにしています。これらのエンドポイントは内部向けなので、文書化されておらず予告なく変わることがあり、どのスクレイピングとも同じく監視が必要です。独自の認証、つまりページが生成するトークンや署名付きのパラメータを伴うことが多く、ときにはそれを再現する必要があり、そこが難しい部分になることもあります。他のどの表面とも同じくレート制限と防御があるため、プロキシと間隔の管理は今も当てはまります。そして、サイトが別のエンドポイントなしにサーバー側で本当にHTMLにデータをレンダリングしている場合、APIスクレイピングはそもそも当てはまらず、解析が道になります。しかしエンドポイントがあるなら、まずHTMLに手を伸ばすのは、簡単な仕事を難しいやり方でしているのです。
よくある質問
サイトの隠れたAPIはどうやって見つけますか?
ブラウザのネットワークタブを開き、JSONを返すリクエストに絞り込み、欲しいデータが現れるとき、つまり読み込み時、スクロール時、フィルターのクリック時に、どれが発生するかを観察してください。それらのリクエストがエンドポイント、そのパラメータ、ページ分割を明かすため、直接呼び出せます。繰り返し使える技術で、かかる30分が、プロジェクトの残り全体を節約することがよくあります。
APIのスクレイピングはHTMLのスクレイピングより優れていますか?
エンドポイントが存在するなら、ほぼ必ず優れています。レンダリングと解析を省け、転送するバイトがはるかに少なく、ページが示すものよりきれいで完全なことの多い構造化されたデータが得られ、レイアウトの変更で壊れないためより安定しています。例外は、別のエンドポイントなしにHTMLにデータをレンダリングするサイトで、そこでは解析が唯一の道です。
APIスクレイピングにもプロキシは必要ですか?
必要です。サイトの内部のエンドポイントは、他のどの表面とも同じくレート制限と防御があり、同じようにお客様のアドレスに結びついているため、HTMLで使うプール、ローテーション、間隔の管理がそのまま当てはまります。変わるのは各リクエストのコストと信頼性で、対象がそれを数えて選別するかどうかは変わりません。
用語集全体に戻る。

