クローラーは発見し、スクレイパーは抽出します。クローラーはいくつかの起点となるURLから始めて、見つけたリンクをページからページへとたどり、サイトやウェブの一部を地図にしていきます。スクレイピングは、クローラーが取得したページを使って行うことです。2つは通常一緒に動くため言葉の境界があいまいになりますが、クローラーは特に、次にどこへ行くかを決める部分です。
ある程度の規模のクロールは、スクレイピングと同じ壁に突き当たります。ひとつのアドレスからの、速く見つけられた多数のリクエストは、抑制されるかブロックされます。何千ものリンクをたどるクローラーには、それらのリクエストをプールに分散させる必要があり、そうしなければ最初の混雑したドメインで自らの首を絞めます。
行儀の良いクローラーは、サイトがクローラー向けに公表するルールも尊重します。それは礼儀であると同時に実務上の問題でもあります。ルールを無視することは、アドレスにフラグが立つ振る舞いのひとつだからです。
クロールの難しい問題は、ページの取得そのものより、何を取得するかを決め、いつ止めるかを知ることにあります。見つけたリンクをすべてたどる素朴なクローラーは、異なるURLを通じて同じコンテンツを再訪し、未来の日付ごとに新しいページを生成するカレンダーのような無限の空間に迷い込み、ひとつの一覧をほぼ同じ何千ものURLに増やすフィルターや並べ替えのパラメータをたどり、外部へのリンクを通じてサイトから完全に外れていきます。
そのため、重要な仕組みは記録管理です。すでに見たものの正規化された記録があれば、パラメータの順序が入れ替わったURLを同じページとして認識できます。どのドメインとパスが範囲内かについての明示的なルール。深さの上限。そして礼儀、つまりひとつのホストへのリクエストの間の遅延と、同時に送る数の上限です。ひとつのドメインを叩くクローラーは、意図にかかわらず攻撃と見分けがつかないからです。
ハニーポットはクローラーが陥る特有の罠で、まさにクローラーを優秀にする徹底ぶりを突いてきます。CSSで隠されたリンクやrobots.txtで禁止されたパスは、人間なら決してリクエストしないもので、それをリクエストした時点で正体を明かしたことになります。見つけたリンクをすべてたどることこそ監視されている振る舞いで、だからこそ、生のマークアップを解析してすべてをたどるより、ページをレンダリングして本当に到達できるものだけをたどるほうが優れているのです。
スクレイパーとの区別ははっきりさせておく価値があります。何を最適化するかが変わるからです。クローラーの仕事は網羅性で、重複やループなしにすべてを見つけることです。スクレイパーの仕事は抽出で、レイアウトが変わっても確実にページから項目を取り出すことです。ほとんどのプロジェクトには両方が必要で、それぞれまったく違う形で失敗します。
よくある質問
クローラーとスクレイパーの違いは何ですか?
クローラーは発見し、スクレイパーは抽出します。クローラーはリンクをたどり、すでに見たものを管理しながら、次に取得するURLを決めます。スクレイパーは取得されたものから必要な項目を取り出します。ほとんどのプロジェクトは両方を動かし、失敗の仕方が異なります。クローラーはループしたり網羅し損ねたりして失敗し、スクレイパーはレイアウトが変わると失敗します。
クローラーがループにはまらないようにするには、どうすればよいですか?
URLを記録する前に正規化し、クエリパラメータの順序の入れ替わりや末尾のスラッシュが新しいページとして読まれないようにし、すべての候補をすでに見たものと照合してください。深さの上限と、どのドメインとパスが範囲内かについての明示的なルールを加えてください。有限のコンテンツから無限の有効なURLを生むカレンダーやファセットのフィルターのような、無限の空間に注意してください。
クローラーはどのくらいの速さで動かすべきですか?
出せる速さより遅くしてください。同じホストへのリクエストの間に遅延を入れ、ドメインごとの並行性に上限を設けてください。ひとつのサイトを飽和させるクローラーは、意図にかかわらず攻撃と見分けがつかないからです。robots.txtがクロールの遅延を指定していれば、それに従ってください。ひとつのホストを使い尽くさず多くのホストに負荷を分散させるほうが、全体としても速く、ブロックされる可能性もはるかに低くなります。
礼儀正しく動かしていたのに、クローラーがブロックされたのはなぜですか?
間隔の礼儀正しさは、ハニーポットを踏むことからは守ってくれません。CSSで隠されたものやrobots.txtで禁止されたものを含め、マークアップ内のすべてのリンクをたどることこそが自動化を特定する振る舞いで、リクエストの頻度は問題ではありませんでした。HTMLに含まれるすべてをたどらずに、レンダリングされたページで本当に到達できるものだけをたどってください。
用語集全体に戻る。

