JA
今すぐ始める

用語集

スクレイピングと自動化

ユーザーエージェント

クライアントがブラウザとOSを示すために送る文字列。サイトがあなたのIPと照らし合わせる最も単純な手がかりの1つです。

ユーザーエージェントとは、すべてのリクエストとともに送られ、クライアントが自分が何者かを名乗る1行の文字列です。ブラウザのものは長く雑然とした文字列で、レンダリングエンジン、プラットフォーム、そして何十年にもわたってサイトがそれを嗅ぎ分けてきたためだけに存在するいくつかの互換性トークンを含みます。スクリプトのライブラリのものは通常短く正直で、python-requestsやcurlの後にバージョン番号が続くような形です。

サイトがそれを読むのは、ほとんどの場合まったく普通の理由からです。モバイル向けのレイアウトを選ぶ、古いブラウザに警告する、クライアントが対応する形式を提供する、といったことです。それが偶然プロキシの検知のシグナルになったのは、自動化されたクライアントが初期設定でそこに自らを名乗り、非常に多くがそれを変えることを考えもしないからです。ライブラリの初期設定のままウェブスクレイピングをする人は、リクエストの1行目で自分の正体を明かしています。

それはまた、リクエスト全体で最も簡単に偽れるものでもあり、だからこそそれ単体では何の証明にもなりません。どのクライアントもどんな文字列でも送れ、どのサイトもそれを知っています。説得力のあるユーザーエージェントを本物のブラウザの証拠として扱う真剣な相手はいないため、それを設定するのは最低限の前提です。

防御する側にとっての価値は整合性のチェックで、実際に重要なのはこの部分です。WindowsのChromeを名乗れば、他の多くのことにも縛られます。一致するTLSフィンガープリント、一致するクライアントヒントの一式、もっともらしい画面サイズ、本物のChromeが送るヘッダーの順序、そしてブラウザのフィンガープリントがその下のマシンについて読み取るすべてです。そのどれかと矛盾すれば、その文字列は役に立たず、サイトに食い違いを捕まえるための具体的な材料を与えたことになります。

ヘッダーの順序は、日常的に見落とされるため、別途触れておく価値があります。本物のブラウザは一貫した特徴的な順序でヘッダーを送り、HTTPのライブラリはコードが追加した順序で送ります。完璧なユーザーエージェントの文字列が、どのブラウザも生み出さない順序で届けば、それは検知にコストのかからない矛盾です。

そのため、実用的な助言は、よくある助言より範囲が狭くなります。現実的で最新のユーザーエージェントは設定してください。ライブラリの初期設定の文字列は、無料で正体を明かすようなものだからです。リクエストごとにランダムにローテーションするのはやめてください。よくある直感ですが、はっきり悪い直感です。本物の訪問者はページを読み込むたびにブラウザを変えたりせず、クライアントの身元が変わり続けるセッションは、一度も変わらないセッションより目立ちます。セッションごとにもっともらしい身元を選び、それを保持してください。

よくある質問

ユーザーエージェントはローテーションすべきですか?

リクエストごとのローテーションは避けてください。多くの助言が間違うのはここです。本物の訪問者はページを読み込むたびにブラウザを切り替えたりしないため、ユーザーエージェントが変わり続けるセッションは、変わらないセッションより疑わしく見えます。セッションごと、または身元ごとにもっともらしい最新の文字列を選び、そのセッションの間それを保持してください。

ユーザーエージェントを変えれば検知されなくなりますか?

いいえ。わかりやすい正体の手がかりのひとつ、つまりライブラリの初期設定の文字列を取り除くだけで、それ以上の効果はありません。検知システムは、その主張がTLSフィンガープリント、ヘッダーの順序、クライアントヒント、振る舞いと整合しているかを確認しており、Pythonのハンドシェイクにブラウザのユーザーエージェントを載せても、変装にはならず矛盾になるだけです。必要ですが、十分にはほど遠いものです。

ウェブスクレイピングに最適なユーザーエージェントは何ですか?

見せている他のすべてと一致する、最新で一般的なものです。魔法の文字列はなく、古いものや珍しいものをコピーするのは無意味どころか有害です。珍しさそのものが身元の手がかりになるからです。広く使われている最新のブラウザのバージョンを選び、リクエストの残りの部分がそこから来たとしてもおかしくないかを確認してください。

ユーザーエージェントを変えても、サイトは本当のユーザーエージェントを見られますか?

サイトが受け取るのは送られたものだけなので、見られません。サイトにできるのは、送られたものが接続の他のすべてと食い違っていることに気づくことです。TLSハンドシェイクがライブラリのものである、ヘッダーの順序が違う、クライアントヒントがない、報告された画面サイズがありえない、といったことです。送られた文字列が本当でないと知るのに、本当の文字列は必要ありません。

用語集全体に戻る。

HProxy.

定義だけで分かることには限りがあります。 実行と 実際のターゲット.

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy