JA
今すぐ始める

用語集

スクレイピングと自動化

ページ送り

サイトが長いリストを多数のページや読み込みに分ける方法。スクレイピングの中で、気付かないうちにデータを取りこぼしたりクローラーを閉じ込めたりしやすい部分です。

ページ分割(ページネーション)とは、サイトが長いリストを少しずつ提供する方法で、スクレイピングが静かにうまくいかなくなる場所です。最初のページを得るのは簡単です。すべてのページを、それぞれちょうど一度ずつ、すべて揃ったとわかる形で得ることが実際の仕事で、それは見た目以上に罠だらけです。不完全なデータセットのほとんどは、ブロックされた収集が原因とは限らず、少しだけ誤って扱われたページ分割が原因です。

仕組みはさまざまで、正しい方法もそれに応じて変わります。従来の番号付きのページや「次へ」のリンクは親切なケースで、リンクがなくなるまでたどります。オフセット型のページ分割、つまり2ページ目、3ページ目はシンプルですが、下でリストが変わると壊れ、リクエストの間に項目がずれて、黙って飛ばしたり重複したりします。カーソル型のページ分割、つまり各レスポンスが次のためのトークンを渡すものは堅牢な現代の形で、データのエンドポイントを直接呼び出すことが最も報われる形です。そして無限スクロールにはページがまったくありません。コンテンツはスクロールに応じて読み込まれ、それはたいてい、見つけて呼び出せる背景のリクエストがあることを意味します。

その最後の点こそ最も効果の大きい一手で、レンダリングとAPIの項目につながります。無限スクロールや動的に読み込まれるリストは、ヘッドレスブラウザで延々とスクロールすることを求めているように見えますが、スクロールはほぼ必ず下でページ分割されたデータのリクエストを発生させており、そのリクエストをページやカーソルのパラメータで直接呼び出せば、ブラウザを動かすより速く安く、リスト全体をきれいな断片で得られます。ネットワークタブでページ分割を見つけることが、多くの場合、難しいスクレイピングが簡単なものに変わる瞬間です。

あまりにもよくあるため、名前を挙げておく価値のある失敗の形が2つあります。1つ目は早く止めすぎることです。空のページや「次へ」のリンクの欠落を一貫しない形で扱い、データの4分の3で静かに終わってしまうのです。だからこそ、集めた総数をサイトが示す数と照合することが重要です。2つ目はクローラーの項目で説明したクローラーの罠です。ファセットのフィルターやカレンダーは有限のコンテンツから無限の有効なページを生むため、範囲の制限なしにページ分割をたどると、クローラーは無限の空間に入り込みます。ページ分割は、少なすぎる側と多すぎる側の両方で、網羅性の勝敗が決まる場所です。

よくある質問

リストのすべてのページをスクレイピングするには、どうすればよいですか?

方法を合わせてください。従来のページ分割なら「次へ」のリンクがなくなるまでたどり、番号付きのページならリクエストの間の項目のずれに注意しながら慎重にオフセットを増やし、カーソル型なら各レスポンスが渡すトークンをたどります。カーソル型が最も確実です。無限スクロールなら、スクロールに応じて発生する背景のリクエストを見つけ、そのページやカーソルのパラメータで直接呼び出してください。

無限スクロールのページはどうやってスクレイピングしますか?

たいていはまったくスクロールせずに行います。無限スクロールは下端に達すると背景でページ分割されたデータのリクエストを発生させるため、ネットワークタブを開いてそのリクエストを見つけ、そのページやカーソルのパラメータで直接呼び出せば、リスト全体をきれいな断片で取得できます。それはヘッドレスブラウザで延々とスクロールさせるより速く安く、壊れにくくもあります。

スクレイパーがページをまたいでデータを取りこぼすのはなぜですか?

最も多いのは、少しだけ誤って扱われたページ分割です。一貫しない空のページや「次へ」のリンクの欠落で早く止まったり、リクエストの間に変わるリストにオフセットを使って、項目が飛ばされたり重複したりするのです。集めた総数をサイトが報告する数と照合し、カーソル型のページ分割か直接のデータのエンドポイントを選んでください。それらは静かな欠落がはるかに起きにくいものです。

用語集全体に戻る。

HProxy.

定義だけで分かることには限りがあります。 実行と 実際のターゲット.

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy