JA
今すぐ始める

用語集

スクレイピングと自動化

CAPTCHA

人間とボットを見分けるためのチャレンジ。個々のリクエストよりも、怪しいネットワークの評判によって表示されることがはるかに多いものです。

この頭字語はCompletely Automated Public Turing test to tell Computers and Humans Apart(コンピューターと人間を区別する完全自動化された公開チューリングテスト)の略で、その名前は、ほぼ姿を消した技術のバージョンを表しています。元の発想は、人間には解けてプログラムには解けないパズルでした。歪んだ文字、計算問題、後にはぼやけた信号機の画像のグリッドです。そのモデルは、機械の視覚が歪んだ文字を人間より上手に読めるようになったことで終わりました。

それに代わったものこそ理解する価値があります。どう対処すべきかが変わるからです。現代のCAPTCHAは、パズルが付いていることもある、スコアリングのシステムです。画面に何かが表示されるずっと前に、サービスはお客様のIPアドレスとその評判、ブラウザのフィンガープリント、そのプロバイダーとのCookieの履歴、マウスの動き方、タイピングの速さ、ポインターが人間らしい弧を描いたか座標へ瞬間移動したか、操作するまでページがどれだけ放置されていたかを集めています。そのすべてから信頼度の値を算出するのです。

そこから、CAPTCHAについて知っておくべき最も役に立つことが導かれます。CAPTCHAが表示されたということは、すでに判定され、しかも悪く判定されたということです。見えない種類は、本物の訪問者の圧倒的多数を何の操作もなしに通過させます。目に見えるチャレンジは、静かなテストで良い結果が出なかったために送られた敗者復活戦なのです。

有名なチェックボックスでさえ、この仕組みで動いています。テストの中身は、チェックの前と最中に起きたすべてのことで、他のサイトでのそのプロバイダーとの履歴も含まれます。だからこそ、同じチェックボックスが、ある訪問者は即座に通し、別の訪問者は終わりの見えない画像のグリッドに落とすのです。

そう見れば、プロキシとのつながりは明らかです。ネットワークの評判はスコアへの最も重い入力のひとつで、振る舞いより先に評価されます。不正利用の履歴のあるデータセンターのアドレスは、完璧な振る舞いでも這い上がれないほど深い穴からスコアリングを始めることになり、クリーンなレジデンシャルのアドレスは、普通の振る舞いなら何も引っかからないほど高い位置から始まります。

これはまた、解決サービスがほとんどの人にとって的外れな選択である理由も説明します。解決サービスが扱うのは症状です。毎回チャレンジを受け続け、解決ごとに料金を払い、元のスコアを改善することなく、すべてのリクエストに遅延とコストを加えることになります。本当に手強い対象への予備の手段としては理にかなっています。チャレンジが出される前にすでに悪く見えていることが本当の問題なら、主な戦略としてはまったく理にかないません。

したがって確実な方法は、より良いスコアを得ることです。信頼されるアドレス、自分が名乗る姿と一致するブラウザのフィンガープリント、IPが示す場所と整合するタイムゾーンと言語、機械のように規則正しくない間隔、そしてブラウザがページを読み込むのと同じようにページを読み込むセッション。どれも、矛盾がないというだけのことです。

HProxyでの扱い

当社が耳にするCAPTCHAの苦情のほとんどは、実のところ、装いを変えたアドレスの評判の苦情です。それはまた、プロキシにできることの誠実な限界でもあります。プロキシが直せるのは、プロキシがコントロールする入力です。フィンガープリントがIPと矛盾していたり、スクリプトが0ミリ秒でクリックしたりするなら、どんなアドレスもスコアを救えません。当社は、解決できない問題のためにより高いプランを売るより、そうはっきりお伝えしたいと考えています。

よくある質問

プロキシ経由のすべてのリクエストでCAPTCHAが表示されるのはなぜですか?

ほぼ必ず、他の何かが考慮される前に、アドレス自体のスコアが悪いからです。データセンターの範囲、不正なユーザーと共有されたアドレス、すでにプロキシやVPNとして記録されているIPは、どれも不利な位置から評価が始まります。同じリクエストを、クリーンなレジデンシャルのアドレスとご自身の家庭用回線から試してください。チャレンジが止まるなら、原因はアドレスで、振る舞いをどれだけ調整しても直らなかったはずです。

CAPTCHA解決サービスは実際に機能しますか?

送信できる回答のトークンを返すという狭い意味では機能します。チャレンジを受けた理由は直さないため、チャレンジを受け続け、解決ごとに払い続け、すべてのリクエストに数秒ずつ加え続けることになります。他に入る道のない本当に手強い対象への予備の手段としては妥当で、根本の問題が引き上げられるはずの低い信頼スコアである場合の主な戦略としては不適切です。

レジデンシャルプロキシでCAPTCHAは止まりますか?

CAPTCHAの最大の理由のひとつを取り除き、多くの人にとってはそれでチャレンジが完全に止まります。それで免疫が得られるわけではありません。ドイツのアドレスでブラウザがニューヨークのタイムゾーンを報告したり、自動化が人間が読むより速くページを進んだりすれば、アドレスとは無関係のシグナルで、やはりスコアを下げられます。

見えないCAPTCHAが本物のユーザーは通すのに、スクリプトはブロックするのはなぜですか?

質問を投げかける代わりに、連続的なシグナルをスコアリングしているからです。本物の訪問者は、ブラウザの履歴、普通のフィンガープリント、マウスの動き、読むための間を伴ってやってきます。スクリプトは通常そのどれも持たずにやってきます。以前のCookieがなく、珍しいフィンガープリントで、ポインターの動きがまったくなく、リクエストのタイミングが規則的すぎるのです。ひとつひとつは小さな減点ですが、合わせると閾値を下回ります。

CAPTCHAを回避するのは合法ですか?

それは法域、サイトの利用規約、行っている内容に完全に左右されるため、用語集より弁護士に尋ねるべき問題です。はっきり言えるのは、当社自身が使っている実務上の考え方です。そもそも悪用と間違われないことを目指し、自動アクセスについてサイトが公表している内容を尊重し、チャレンジをエスカレートの合図として扱わないことです。

IPを頻繁にローテーションすれば、CAPTCHAは減りますか?

減ることもあれば、悪化することもあります。ローテーションは、単一のアドレスにリクエストの量が蓄積するのを防ぐため、量に基づく引き金には効果があります。しかし、プロバイダーがフィンガープリントやCookieで追跡しているセッションの下でローテーションすると、ありえない数のアドレスを持つ一人の訪問者を見せることになり、それは同じアドレスにとどまる場合より強い否定的なシグナルになります。

用語集全体に戻る。

HProxy.

定義だけで分かることには限りがあります。 実行と 実際のターゲット.

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy