JA
今すぐ始める

用語集

検出とレピュテーション

TLSフィンガープリント

クライアントが暗号化をどう交渉するかから作られる識別子。クリーンなIP経由でも自動化を見抜くのに使われます。

リクエストの1バイトが暗号化される前に、クライアントはすでに自己紹介を済ませています。TLSハンドシェイクの最初のメッセージであるClientHelloは平文で送られ、詳細な宣言になっています。対応するTLSのバージョン、暗号スイートとその優先順位、実装している拡張機能とその順序、受け入れる楕円曲線、ポイントフォーマットです。どれも秘密の情報にはあたらず、すべて暗号化が始まる前に読まれます。

その宣言の順序は標準化されておらず、まさにそれが身元の手がかりになります。Chromeはある組み合わせをある順序で提示します。Firefoxは別の組み合わせを別の順序で提示します。Pythonのrequestsライブラリ、Goのnet/http、curl、ヘッドレスブラウザはそれぞれ独自のものを持っています。その並び全体を短い文字列にハッシュ化すれば、そのソフトウェアが後で自分について何を名乗ろうと、どのソフトウェアが話しているかを示すフィンガープリントになります。

JA3は、これを最初に広く採用した形式で、TLSのバージョン、暗号のリスト、拡張機能のリスト、楕円曲線、曲線のポイントフォーマットをつなげたもののMD5ハッシュです。JA4はその後継で、今知っておく価値があるのはこちらです。クライアントがJA3を回避するのに使った暗号の並べ替えに強く、不透明なハッシュ一つにとどまらない構造を持ち、部分的に人が読めるため、防御する側にとってはるかに役に立ちます。

これが他のほぼどのシグナルよりも重要な理由は、その位置にあります。IPアドレスより下の層にあるため、完璧なレジデンシャルプロキシでも影響しません。ヘッダーより下の層にあるため、完璧なUser-Agentの文字列でも影響しません。信頼されたドイツの家庭のアドレスからリクエストを送り、WindowsのChrome 130を名乗りながら、PythonのTLSハンドシェイクを渡せば、照会一回で検知でき、どれほど高品質なプロキシでも取り繕えない矛盾を生むことになります。

これこそが、ブラウザでは完璧に動くスクレイパーが、同じ対象、同じプロキシでもスクリプトからは失敗する具体的な理由です。人々はプロキシが悪いと結論づけ、より高価なものを買います。問題は最初からプロキシにはありませんでした。ハンドシェイクにあったのです。

直すには、クライアントが実際に送る内容を変える必要があります。だからこそ、本物のブラウザのハンドシェイクを1バイト単位で再現するためだけのライブラリが存在し、GoではuTLSがよく知られています。そして本物のブラウザを動かせば、名乗っているものに本当になれるため、この問題を丸ごと回避できます。

注意点がひとつあります。フィンガープリントが矛盾になるのは、それが残りの話と食い違う場合だけです。よく知られたライブラリのハンドシェイクは、スクリプトを想定したAPIでは自動的に疑わしくはなりません。疑わしくなるのは、それが一般消費者向けのアドレス上で一般消費者向けのブラウザを装って届く場合です。本物の一般消費者向けブラウザは、そんなことをしないからです。

HProxyでの扱い

まさにこれが、当社がアドレスはひとつの層にすぎないと言う理由です。信頼されたIPは最低ラインを引き上げますが、暗号化が始まる前に自らを自動化と名乗るクライアントは救えません。ブロックをデバッグする人は、より高価なプロキシを買う前にハンドシェイクを確認すべきです。

よくある質問

JA3とJA4の違いは何ですか?

JA3は元祖のTLSフィンガープリントで、ClientHelloのTLSのバージョン、暗号スイート、拡張機能、楕円曲線、曲線のポイントフォーマットのMD5ハッシュです。その弱点は、クライアントがそれらのリストを並べ替えたり水増ししたりして別のハッシュを生み、照合を回避できたことです。JA4はその後継で、そうした並べ替えに強いよう設計されており、単一の不透明なハッシュの代わりに構造を持ち部分的に読めるため、防御する側はその一部について推論できます。

プロキシでTLSフィンガープリントを隠せますか?

隠せません。普通のプロキシは接続を中継するため、クライアントが生成したClientHelloがそのまま宛先に届きます。プロキシはハンドシェイクがどのIPアドレスから来ているように見えるかを変えますが、ハンドシェイクそのものは何も変えません。フィンガープリントを変えるには、それを生成するクライアントを変える必要があります。

スクレイパーがブラウザでは動くのに、スクリプトからは失敗するのはなぜですか?

たいてい、リクエストの他のすべてが一致していても、ブラウザとスクリプトのTLSフィンガープリントが異なるからです。スクリプトはブラウザのヘッダー、Cookie、User-Agentを正確にコピーしても、TLSの層ではまったく異なる暗号と拡張機能の順序を告げることがあり、検知システムは他の何かを評価する前に、それを自動化として読み取ります。プロキシを替えても続くブロックの、最もよくある原因です。

自分のTLSフィンガープリントはどうやって確認できますか?

気になっているクライアントから、観測したJA3やJA4の値を返すサービスにリクエストを送り、同じリクエストを本物のブラウザからも送って比べてください。2つが違えば、その違いは接続するすべてのサイトに見えており、しかもリクエストが復号される前に見えています。

HTTP/2を使うとフィンガープリントは変わりますか?

もうひとつ加わります。TLSハンドシェイクに加え、HTTP/2のクライアントはSETTINGSフレームの値、ヘッダーの順序、優先度の振る舞いが異なり、それがTLSのものと並ぶ別のHTTP/2フィンガープリントを生みます。クライアントはTLSの層ではブラウザと一致しても、その上の層で特定されることがあります。

用語集全体に戻る。

HProxy.

私たちの言葉をうのみにする必要はありません。 ご自身で測定してください。

お使いのブラウザから実際のアドレスに対して実行します。登録不要で、リストも保存しません。

HProxy