HTTPのリクエストの大部分は自己紹介です。コンテンツが動く前に、クライアントはヘッダーのブロック、つまり名前と値の平易な行を送り、自分が誰か、何を受け付けるか、どこから来たか、答えをどう包んでほしいかを宣言します。サーバーは独自のブロックで応えます。両者が交渉することはすべてここで、1行にひとつの事実ずつ交渉されます。
プロキシの文脈で重要な仕事のほぼすべては、ほんの一握りのヘッダーが担っています。Hostはどのサイトを求めているかを示し、それによってひとつのアドレスが何千ものドメインを提供できます。ユーザーエージェントの行は、どのソフトウェアが尋ねているかを示します。Accept-Languageは好む言語を宣言します。Refererはどのページから来たかを示します。Cookieの行は以前の訪問で保存された状態を運びます。そして転送の系統、X-Forwarded-ForとViaは、中継者が自らの関与を記録できる場所で、匿名性のグレードが計測される仕組みそのものです。
そのうち2つは、地理とあまりにも簡単に矛盾するため、プロキシの利用者は特に注意を払う価値があります。Accept-Languageはすべてのリクエストで送られ、マドリードのアドレスから出ながらすべてのページでen-USを告げるブラウザは、ヘッダーの最初のパケットでサイトに食い違いを差し出しており、フィンガープリンティングすら必要ありません。名乗る国では見ないはずの言語版から来たことを示すRefererの連鎖も同じです。アドレスはひとつの話を語り、ヘッダーは自ら別の話を差し出します。
順序は3つ目の話を語ります。仕様ではヘッダーは順序のない集合として扱われますが、実際のソフトウェアは決まった習慣的な順序で送り、その習慣はそれぞれ異なります。ブラウザはある順序を生み、HTTPライブラリはそれぞれ別の順序を生みます。防御は名乗る身元と観測した順序を比べ、それはコストがかからず、独自の順序で送るクライアントに貼り付けたコピーのヘッダーの値を捕まえます。HTTP/2は状況を複雑にし、名前を小文字にしてブロックを圧縮し、同じようにフィンガープリントになる独自の交渉の詳細を加えます。
ヘッダーはコストが隠れている場所でもあります。Accept-Encodingは圧縮を求める行で、GB単位のプランでこれを忘れると、何分の一にも縮んだはずのテキストに満額を払うことになります。各リクエストはブロック全体を繰り返すため、大量の作業では本物のトラフィックになります。小さな行ですが、何百万回も送られるのです。
よくある質問
プロキシを使うとき、最も重要なHTTPヘッダーはどれですか?
送信側では、ユーザーエージェントの行、Accept-Language、Cookieです。出口が名乗る身元と場所と一致している必要があるからです。サイトに届く側では、X-Forwarded-ForとViaです。プロキシがそれらを追加するかどうかこそが、透明、匿名、エリートのグレードを分けるものだからです。エコーのエンドポイントで実際に届いたものを読み返せば、どちらも1回のリクエストで確かめられます。
IPがクリーンでも、ヘッダーでプロキシの使用がわかってしまうことはありますか?
あります。2つの形でです。転送のヘッダーを追加するプロキシは、アドレスの品質にかかわらず自らを名乗ります。そしてお客様自身のヘッダーが出口と矛盾することがあります。名乗る国と整合しない言語の設定、Refererの連鎖、タイムゾーンに依存する値は、他人のアドレスをまとった訪問者に見え、それはまさにその実態です。
ヘッダーの順序は本当に確認されるのですか?
本格的な防御では日常的に確認されます。ソフトウェアは特徴的な順序でヘッダーを送り、ブラウザはある形で、ライブラリはそれぞれ独自の形で送るため、その順序を名乗るユーザーエージェントと比べることはコストのかからない整合性のテストです。ブラウザのヘッダーの値をスクリプトにコピーしてもブラウザの順序を再現しなければ不合格になり、それが値の完璧なリクエストでも自動化として分類される理由のひとつです。
ヘッダーは帯域幅を消費しますか?
すべてのリクエストで送り直されるため、大量になれば本物の費用項目になりますが、より大きな影響はそのうちのひとつが左右するものです。Accept-Encodingは圧縮を交渉し、それを省くと何倍ものサイズの圧縮されていないページを受け取ることになります。GB単位のレジデンシャルの課金では、その1行の欠落は、スクレイピングで最も高くつく初期設定のひとつです。
用語集全体に戻る。

