Cloudflareは、CDNとセキュリティのプロキシとして非常に多くのウェブサイトの前に立っており、そのボット対策は自動化が突き当たる最もよくある障害のひとつです。リクエストが自動化されているように見えると、Cloudflareは本物のサイトに届く前に、JavaScriptのチェック、マネージドチャレンジ、ときにはCAPTCHAといったチャレンジを挟むことがあります。
Cloudflareはサイトのリバースプロキシなので、向き合っているのはCloudflareの防御です。その防御は、本格的なアンチボットシステムがどれも使うのと同じシグナルを比較します。IPの評判、TLSフィンガープリント、ブラウザの振る舞いです。データセンターのアドレスは、クリーンなレジデンシャルのアドレスよりはるかにチャレンジを受けやすくなります。
実務上の結論は変わりません。信頼されたアドレス、本物のブラウザのフィンガープリント、急がない振る舞いがそろえば、どれかひとつだけでは通らないところを通過でき、最も厳しい構成には、専用に作られたスクレイパーのエンドポイントが現実的な道であることが多いです。
理解しておく価値のある構造的なポイントは、保護がサイトごとに設定できるものだということです。サイトの運営者は独自のセキュリティレベル、ルール、閾値を選ぶため、その背後にあるサイトのひとつは完全に開いており、別のサイトはすぐにチャレンジを出すのです。その背後にあるものは何もスクレイピングできない、あるいはできるという結論は、どちらもプラットフォームそのものより、誰かが選んだ設定から一般化しています。
それはまた、受け取る応答が二択にならないことも意味します。設定によって、リクエストは普通に提供されることも、気づかないうちに解決される静かなJavaScriptのチェックを受けることも、対話型のチャレンジを表示されることも、レート制限を受けることも、きっぱり拒否されることもあります。実際にどれを受け取ったかを読み取れば、200以外をすべて同じ壁として扱うよりはるかに多くの、何を変えるべきかの手がかりが得られます。
アドレスをたどる人にとって本当に役立つ帰結がひとつあります。Cloudflareはリバースプロキシとして動くため、見えるアドレスはCloudflareのものです。サイトのIPを調べると、ホストの代わりにCDNが返ることがよくあり、それは想定どおりの動作で、何かの証拠にはなりません。
最も厳しい構成について、実際に尋ねられる質問なので、当社の誠実な立場を述べます。クリーンなレジデンシャルのアドレスは最低ラインを引き上げますが、それだけで結果を決めることはありません。ネットワーク層の上のチェックは関係なく続くからです。対象が十分に厳しく設定されている場合、現実的な選択肢は、専用に作られたスクレイピングのエンドポイント、公式のAPIがあればそのAPI、あるいはサイトが自動アクセスを望んでいないと受け入れることです。それに対する答えとしてより高価なプロキシを売るのは、事実に反します。
よくある質問
Cloudflareがブラウザはブロックしないのに、スクレイパーはブロックするのはなぜですか?
ブラウザとスクリプトは、アドレス以外のすべてで異なるからです。HTTPライブラリのTLSフィンガープリントはブラウザのものと違い、ヘッダーの順序も異なり、クライアントヒントがなく、人間の操作もまったくありません。それらはリクエストがサイトに届く前に読まれ、だからこそ同じIPが一方では成功し、もう一方では失敗するのです。
レジデンシャルプロキシでCloudflareを突破できますか?
チャレンジされる最も強い理由のひとつを取り除き、軽く設定されたサイトでは、それだけで十分なことがよくあります。厳しく設定されたサイトでは不十分です。フィンガープリントと振る舞いのチェックは、アドレスがどれほど信頼されていても動くからです。最低ラインを引き上げますが、結果までは決めません。
Cloudflareの背後にあるサイトで、振る舞いがこれほど違うのはなぜですか?
各運営者が独自のセキュリティレベル、ルール、閾値を設定しているからです。それは設定を持つプラットフォームで、単一の固定された障壁にはあたらないため、同じ製品を使いながら、あるサイトは完全に開いており、別のサイトはすぐに敵対的になることがあります。プラットフォームから一般化せずに、特定のサイトをテストしてください。
ブロックしているのはCloudflareですか、それともウェブサイトですか?
たいていはエッジが、サイトの運営者が選んだルールに基づいて行っています。リバースプロキシなので、判断は通常サイト自身のアプリケーションが何かを見る前に下され、だからこそブロックは即座に起こりえ、オリジンサーバーにはリクエストの記録がまったくないこともあるのです。サイトのアドレスを調べるとホストの代わりにCDNが返る理由もこれで説明できます。
用語集全体に戻る。

