JA
今すぐ始める

用語集

検出とレピュテーション

ハニーポット

自動化のために仕掛けられた罠。人間には見えないリンクや入力欄で、それに触れたものをすべてボットとしてフラグ付けします。

ハニーポットとは、自動化のために仕掛けられた餌です。サイトは人が知覚できず、したがって決して触れないものをページに置き、それに触れたものをプログラムの証拠として扱います。言い逃れの余地がまったくなく、それがこれほどきれいなシグナルになる理由です。人間は見えない項目に入力したりはしないのです。

知ってしまえば、その形はありふれたものです。画面外に配置されたりサイズをゼロにされたりして、マークアップには存在するが画面には存在しないリンク。CSSで隠されたフォームの入力欄で、ときにはフォームを埋めるスクリプトにとって魅力的に見える名前が付けられています。見えるナビゲーションのどこにも現れないURL。そして定番の、robots.txtで禁止されたパスで、行儀の良いクローラーなら決してリクエストしないため、リクエストしたものを特定します。

最後のものは、立ち止まって考える価値があります。人々がrobots.txtの用途と思っているものを逆転させるからです。そっとしておくべき場所のリストを面白い場所のリストとして扱うと、それは、どのリクエストが自分に印を付けるかを正確に示す地図になります。サイトが隠しているものを見つけるためにそれを読むのは、自ら罠に踏み込む確実な方法です。

この防御の巧みさは、徹底ぶりを手がかりに変えてしまう点です。自動化が機械的に完全であるほど、人間なら決して出会わないものを確実に踏み、データ収集でクローラーを優秀にするまさにその性質が、特定を容易にします。一度踏むと、その結果は通常アドレスに降りかかり、だからこそ一度の不注意な実行で、それ以降のすべてにとってIPが使い物にならなくなることがあるのです。

避けるには、選択的に振る舞うことです。本当に見えてたどれるものに従い、robots.txtを索引として読まずに指示として尊重し、レンダリングされたページに表示されない項目は送信せず、DOMには存在するが画面には見えない要素はどれも疑ってください。読者がもっともらしくすることをまねるウェブクローラーは、礼儀正しいうえに、捕まえにくくもなります。

よくある質問

ハニーポットを踏む前に検知するには、どうすればよいですか?

マークアップを解析するだけにとどめず、ページをレンダリングし、人が見ることも到達することもできないものはすべて無視してください。display none、visibility hidden、幅や高さがゼロ、opacityがゼロ、あるいは画面から遠く外れた位置にある要素です。レンダリングせずに生のHTMLを解析しているなら、見た目のページにはない罠を含んだドキュメントを相手にしていることになり、まさにその隙をこの手法は突いてきます。

robots.txtでハニーポットの場所がわかりますか?

それを載せていることはよくあり、そう使うことこそが捕まる原因です。見えるリンクがひとつも指していない禁止されたパスは、餌の有力な候補です。ルールに従うクローラーは決してリクエストしないため、そこに現れるのはこのファイルを無視する自動化だけだからです。このファイルは、面白いURLへの近道として使わず、行ってはいけない場所についての指示として扱ってください。

ハニーポットを踏んだ後はどうなりますか?

サイトによって異なり、即座のブロックにならないことがよくあります。アドレスに印を付けて後で対処するサイトもあれば、質の落ちたコンテンツや捏造されたコンテンツを提供し始めて、集めるデータを静かに間違ったものにするサイトもあり、単にアンチボットシステムでのスコアを上げて、以降のすべてのリクエストをより疑わしく扱うサイトもあります。目立ったことが何も起きなくても、何も起きていない証拠にはなりません。

IPをローテーションすれば、ハニーポットのフラグは消えますか?

その特定のアドレスからフラグが外れるため、印がIPだけに対して記録されていたなら役に立ちます。サイトがクライアントのフィンガープリントも取っていたなら役に立ちません。同じフィンガープリントが新しいアドレスで届くことは、同じアドレスにとどまるより強いシグナルになるからです。そして罠を踏んだ振る舞いには何の効果もないため、次のアドレスもそれを踏みます。

用語集全体に戻る。

HProxy.

私たちの言葉をうのみにする必要はありません。 ご自身で測定してください。

お使いのブラウザから実際のアドレスに対して実行します。登録不要で、リストも保存しません。

HProxy