JA
今すぐ始める

用語集

検出とレピュテーション

プロキシ検出

訪問者がプロキシの裏にいるかどうかを判断するためにサイトが使う技術の総称。ネットワークの照会から行動の分析まで幅があります。

最初に正すべきは考え方です。検知が、プロキシがあるかないかのはい・いいえの答えになることはほとんどありません。それは多くの弱いシグナルから組み立てられたスコアで、お客様がそれを見ることは決してありません。だからこそ外からは非常にわかりにくいのです。同じ構成が月曜日にはすんなり通り、木曜日にはチャレンジを受けます。それは正体が暴かれたからとは限らず、閾値が動いたか、入力のひとつが変わったからです。

最初に来るのは最も手軽な入力です。照会一回で済み、それ以外のコストがかからないからです。このアドレスはどの組織が所有しているか。ホスティングとして公表されている範囲にあるか。商用のプロキシやVPNのリストに載っているか。このアドレスは以前ここで不正をしたことがあるか。この4つの質問だけで、リクエストそのものが調べられる前に、データセンターのトラフィックの大半が処理されます。

次に来るのは矛盾で、これが興味深いものです。個々のチェックをすべて通過する構成でも捕まえるからです。ドイツに位置づけられるアドレスと、ニューヨークのタイムゾーンを報告するブラウザの組み合わせ。TLSハンドシェイクがPythonのライブラリのものであるレジデンシャルのIP。ひとつの家庭のアドレスが突然オフィス並みのリクエスト量を運ぶこと。どのシグナルもそれだけでは決定的になりません。要点は互いに食い違っていることで、本物のユーザーが内部で矛盾していることはめったにありません。

それと並んで、量の形をしたシグナルがあります。リクエストの間の完全に規則的な間隔、人間なら生み出さない巡回の順序、画像もスタイルシートも一度も読み込まないセッション、誰もたどり着けない深いURLにいきなり向かう新しいアドレス。そのすべてがプログラムの姿を表しており、そのどれも、お客様のIPがプロキシだと知ることを必要としません。

ですから、役に立つ結論は、それだけで検知されないアドレスなど存在せず、それを追い求めるのは目標として間違っているということです。生き残るのは一貫性です。アドレス、フィンガープリント、タイムゾーン、ハンドシェイク、リズムがすべて同じ話を語っていることです。信頼されるレジデンシャルのIPも雑に扱えば捕まり、普通の構成でも慎重に扱えば捕まらないことがよくあります。

仕組み

  • 1.アドレスの所有者と、その範囲がホスティングとして公表されているかを調べます。
  • 2.アドレスを評判や既知のプロキシのリスト、そしてローカルでの不正の履歴と照合します。
  • 3.ネットワークが示す所在地と、クライアントが報告する内容を比べます。タイムゾーン、言語、そしてDNSやWebRTCから漏れた発信元です。
  • 4.TLSの層とブラウザで接続そのもののフィンガープリントを取り、名乗っているクライアントと一致するかを確認します。
  • 5.リクエストのパターンをスコアリングします。間隔、順序、アセットの読み込み、セッションの形です。
  • 6.重み付けしたシグナルを合計し、その結果に基づいて、許可、チャレンジ、品質の低下、ブロックのいずれかで対応します。

よくある質問

ウェブサイトはプロキシの使用を見抜けますか?

見抜くことはよくありますが、正体を暴いて見抜くことはまれです。アドレスの所有者と、その範囲がホスティングとして公表されているかを調べ、既知のプロキシのリストと照合し、ネットワークが示す内容とブラウザが報告する内容の矛盾を探します。そのどれも、お客様の本当のアドレスを突き止める必要はありません。何かが矛盾していることに気づくだけでよいのです。

最も検知されにくいプロキシのタイプはどれですか?

モバイル、次いでレジデンシャルです。どちらも、本物の顧客まで切り捨てずにはまとめて切り捨てられない一般消費者向けのネットワーク上にあるからです。ただし、アドレスの種類が決めるのは最低ラインだけです。スクリプトのライブラリのTLSハンドシェイクと機械のように規則正しい間隔を組み合わせたモバイルのアドレスは、アドレス以外のすべてで捕まります。

同じプロキシが、あるサイトでは動き、別のサイトでは動かないのはなぜですか?

検知は閾値付きのスコアで、どちらもサイトごとに設定されているからです。アドレスごとのリクエスト数を数えるだけの対象もあれば、評判のデータを購入し、ハンドシェイクのフィンガープリントを取り、振る舞いをスコアリングする対象もあります。アドレスは変わっておらず、それに求められるものが変わったのです。

サイトから自分について何が見えるかは、どうすればテストできますか?

受け取ったものをそのまま返すエンドポイントにプロキシ経由でリクエストを送り、3つのことを別々に確認してください。どのアドレスが届いたか、どのヘッダーが一緒に届いたか、そしてTLSフィンガープリントが名乗っているクライアントと一致するかです。次に、リクエストの完全に外側にあるDNSとWebRTCの漏洩を確認してください。

用語集全体に戻る。

HProxy.

私たちの言葉をうのみにする必要はありません。 ご自身で測定してください。

お使いのブラウザから実際のアドレスに対して実行します。登録不要で、リストも保存しません。

HProxy