アンチボットシステムは、IPのブロックリストに取って代わったものです。ブロックリストはひとつのシグナルでひとつの問いに答え、アドレスを変えるだけで簡単に破られます。現代のシステムは十数個の問いを投げかけ、答えに重みを付け、単一の判定を出します。だからこそ、ブロックリストを破った手口はこれにはほとんど通用しないのです。
入力はすべての層から同時に来ており、その積み重ねこそが設計です。ネットワーク層では、アドレスの所有者とその評判で、プロキシの検知が扱うのと同じ領域です。トランスポート層では、TLSフィンガープリントです。ChromeのUser-AgentをまとったPythonのハンドシェイクは、見つけるのにコストのかからない矛盾だからです。アプリケーション層では、ブラウザのフィンガープリントです。キャンバス、WebGL、フォント、タイムゾーン、そしてそのどれかがIPの示す場所と食い違っていないか。そして振る舞いです。間隔、ポインターの動き、スクロール、アセットが読み込まれたか、ナビゲーションの経路が人間がたどりえたものか。
判定が単純なブロックになることはめったになく、そこが人々を最も混乱させる部分です。選択肢を持つシステムは、相手にコストがかからず、お客様にコストがかかる最も安い対応を選ぶことがよくあります。CAPTCHAを出す、コンテンツの質を静かに落とす、古い価格を返す、結果を省く、あるいはスクレイパーがタイムアウトするまで応答を遅らせる。正常に読み込まれながら微妙に間違ったデータを含むページは、403よりはるかに効果的な防御です。何週間も気づかないかもしれないからです。
防御も動きます。ルールは調整され直し、新しいシグナルが加わり、閾値はトラフィックに応じて変わり、先月通用した技術が何の告知もなく通用しなくなることがあります。これが戦略を決める構造的な事実です。パズルを一度解いて終わりにはならず、知らせずに変わる相手に対して立ち位置を保ち続けることになるのです。
そのため、手強い対象への誠実な助言は、より良いプロキシを勧めることとは異なります。変装より監査だと考えてください。リクエストのすべての層が同じ話を語るよう求められ、システムはそうでない層を探しています。クライアントが何を名乗るにせよ、ハンドシェイクの段階で本当にそのものであり、もっともらしいマシンを報告し、名乗る場所と整合するアドレス上にあり、名乗る人間がこなせる速さでページを進む必要があります。目指すべきは、目に見えて食い違うものが何もないことです。
そして、自分で戦い続けることが合理性を失う一線があります。アクセスを保つために、本来の製品を作れるはずの誰かが絶えず作業しなければならないなら、まさにこれを専門とするスクレイパーAPIのほうが、たいてい技術者の時間より安く、1か月間静かに間違ったデータを集めるよりはかなり安くつきます。
HProxyでの扱い
当社が販売しているのは層のひとつで、それをはっきり申し上げます。良いアドレスは最低ラインを引き上げますが、スタックの上の層で自らと矛盾するクライアントは救えません。だからこそ当社は、IPがすべての対象を解決するふりをせずに、プロキシと並んでスクレイパーAPIを運営しているのです。
よくある質問
レジデンシャルプロキシだけでアンチボットシステムを突破できますか?
軽い保護に対しては、多くの場合できます。ネットワークの評判は最も重い入力のひとつで、信頼されたアドレスはチャレンジされる最も安易な理由を取り除くからです。本格的な保護に対してはできません。システムはTLSフィンガープリント、ブラウザのフィンガープリント、振る舞いも読み取り、そのどれかがアドレスと矛盾すれば、それだけで十分だからです。アドレスは必要ですが、十分ではありません。
スクレイパーが何週間も動いていたのに、突然止まったのはなぜですか?
たいていは、防御の側が変わったからです。閾値は調整され直し、新しいシグナルが加わり、ルールは絶えず更新されるため、線のすぐ上にいた構成が、お客様の側で何も変わらないまま線の下に落ちることがあります。本当に止まったのか、それとも単に質の落ちたコンテンツを返し始めただけなのかも確認する価値があります。後者のほうがはるかに見逃しやすい失敗です。
ブロックされる代わりに、質の落ちたコンテンツを提供されているかどうかは、どうすればわかりますか?
信頼できるリクエストと比べてください。普通の接続の普通のブラウザで同じURLを取得し、意味のある項目、つまり価格、結果の件数、在庫状況、一覧の項目数の差分を取ります。静かな品質の低下はHTTPのレベルでは成功に見えるため、ステータスコードやエラーログには何も表れず、比較だけがそれを教えてくれます。
遅くしたほうがよいですか?
たいていはそうで、利用できる中で最も過小評価されている調整です。量と規則性は強いシグナルで、その2つは完全にお客様のコントロール下にあります。それ自体がパターンになる固定の遅延の代わりに、間隔に本物のばらつきを加えれば、時間はかかりますが、どのプロキシを買っても取り除けないシグナルを取り除けます。
アンチボットシステムは検索エンジンのクローラーもブロックしますか?
一般にはしません。ほとんどのサイトはインデックスされたいからです。既知のクローラーは通常識別されて許可され、だからこそサイトが検索結果のキャッシュでは完全に開いて見えるのに、お客様にはすぐにチャレンジを出すことがあるのです。許可が与えられるのは特定の検証済みのクローラーで、似たUser-Agentを示すものには与えられません。そのクローラーを名乗っても、逆引きDNSで簡単に確認できます。
用語集全体に戻る。

