DataDome
デバイス、ネットワーク、行動の手がかりから、すべてのリクエストをミリ秒単位で評価するリアルタイムのボット対策サービス。Eコマースやクラシファイドのサイトでよく見られます。
DataDomeの際立った主張は速さです。入口で一度通過すれば済む関門を設けずに、すべてのリクエストに数ミリ秒で判定を下すのです。この設計上の判断が、スクレイパーがそれに対して経験するすべてを形づくっています。一度入れば信頼されるということはなく、各リクエストが判定し直されるため、50回のリクエストで動いた構成が、蓄積したパターンが閾値を越えた51回目でチャレンジを受けることがあります。
判定は、この用語集が別々に扱う層から組み立てられ、重み付けされて組み合わされます。ネットワークの評判とアドレスの種類。復号前に読まれるTLSフィンガープリント。ヘッダーの構成と順序。JavaScriptで収集される機器のフィンガープリント。そしてセッションを通じた振る舞い、つまり間隔、ナビゲーションの形、人間らしい小さな不規則さの有無です。単一のシグナルで決まることはなく、スコアは合計です。だからこそ、アドレスだけを直しても数値は少し動くだけで、それだけでは何も突破できないのです。
DataDomeは特定の業界に集中しており、出会ったときにそれを知っておく価値があります。Eコマース、個人間売買、チケット販売、メディアがその中心地です。スクレイピングや詐欺の標的に最もなりやすく、そのコストを最も正当化しやすい業種だからです。一度見たことがあれば、見分けるのは簡単です。特徴的な中間画面とチャレンジのページ、そしてその名前を示すレスポンスヘッダーがあるため、推測せずに相手を確認できることがたいていです。
誠実な戦略上の結論は、DataDomeが、アドレスが答えの最も小さな部分にすぎないシステムのひとつだということです。クライアントのフィンガープリントとリクエストごとの振る舞いに大きく頼っているため、信頼されたレジデンシャルの出口は必要ですが、十分にはほど遠いものです。同じハンドシェイクと同じ機械的なリズムがクリーンなIPで届けば、それこそがこのシステムが捕まえるために作られた矛盾です。セッション全体を通じて保たれる、すべての層にわたる一貫性だけが生き残ります。
だからこそ、専用のエンドポイントが経済性で勝つことが多い対象でもあります。絶えず調整し直すシステムに対して独自のクライアントの一貫性を保つことは継続的な技術者の時間で、多くのチームにとって、専門業者のリクエストごとのコストは、自らその立ち位置を保つための人件費より低くなります。
HProxyでの扱い
DataDomeは、IPはひとつの層だという当社の一貫した主張のわかりやすい例です。良いアドレスはそれに対する最低ラインを引き上げますが、ハンドシェイクと振る舞いがアドレスの語る話と矛盾するクライアントは救えません。だからこそ当社は、より高価なIPを解決策として売る代わりに、まさにこうした対象のためにプロキシとスクレイパーAPIを組み合わせているのです。
よくある質問
レジデンシャルプロキシでDataDomeを回避できますか?
取り除けるのはネットワークの評判という1つの入力で、それはスコア全体にはほど遠いものです。DataDomeはTLSフィンガープリント、機器のフィンガープリント、リクエストごとの振る舞いを同じくらい重く評価し、そのどれかがアドレスと矛盾すれば、それだけで十分です。クリーンなレジデンシャルの出口はそれに対して必要ですが、それ単独で十分になることは決してありません。
サイトがDataDomeを使っているかは、どうすればわかりますか?
そのチャレンジページには見分けのつく外観があり、関与はたいていレスポンスヘッダーや、チャレンジ時に設定されるCookieに表れます。ブロックが特徴的な中間画面として現れ、ヘッダーがそのサービス名を示していれば、防御を推測せずに、相手を確認できます。
最初は問題なかったのに、セッションの途中でDataDomeにブロックされるのはなぜですか?
すべてのリクエストをスコアリングしているからです。最初は許容範囲に見えるパターン、つまりリクエストの間隔、ナビゲーションの形、フィンガープリントの安定性が、蓄積するにつれて閾値を越えることがあり、ブロックは途中で起こります。変わったのは、直近のリクエストに対する進行中の判定です。
DataDomeに対して実際に効果があるのは何ですか?
セッションを通じて保たれる、すべての層にわたる一貫性です。本物のブラウザのフィンガープリント、名乗るブラウザと一致するTLSハンドシェイク、もっともらしい場所にある信頼されたレジデンシャルのアドレス、そして人間のような間隔の振る舞いです。絶えず調整し直されるシステムに対してそのすべてを保つのは本格的な技術的労力なので、手強いDataDomeの対象には、専門のスクレイパーのエンドポイントのほうが経済的な道であることがよくあります。
用語集全体に戻る。

