WebSocketは、普通のウェブリクエストに扮して生まれます。クライアントはUpgradeヘッダーを伴う普通のHTTPリクエストのように見えるものを送り、サーバーは101 Switching Protocolsで応え、その瞬間から接続はリクエストとレスポンスの形をやめます。同じTCP接続の上の持続的な双方向のチャネルになり、接続が続く限り、どちら側も好きなときにメッセージを送れます。
その変装こそが設計の目的でした。標準のウェブのポート、wsなら80、TLSで包んだwssなら443でHTTPとして始めることで、このプロトコルはウェブのトラフィック向けに作られたインフラを通り抜けます。何か変わったかをサーバーに繰り返し尋ねる方法と比べて得られるのは即時性と経済性で、絶え間ない問い合わせの代わりにひとつの常設の接続です。だからこそ、株価のティッカー、板情報、チャット、通知、スポーツのスコア、共同編集、ライブのダッシュボードといった、ウェブのライブな面を運んでいるのです。
その一覧が、スクレイパーがこれに出会い続ける理由を説明しています。そうしたページでは、取得するドキュメントは骨組みで、欲しかった数字は、ページが読み込み後に開くソケットを流れるメッセージとして後から届きます。HTMLを取得してもデータのない殻しか得られず、ページをレンダリングしても、その後に聞き耳を立てなければ役に立ちません。直接の道は、ページが使うのと同じものです。ソケットのエンドポイントを自分で開き、サイト自身のクライアントが送る購読のメッセージを話し、フィードを読むのです。それはたいてい、ページが見せてくれたであろうものよりきれいなJSONです。
プロキシ経由でも動きますが、知っておく価値のある非対称性があります。暗号化されたwssは、HTTPSが使うのと同じ盲目的な中継である普通のCONNECTトンネルの中で、HTTPプロキシを通るため、一般にそのまま動きます。平文のwsはプロキシにUpgradeを明示的に扱うよう求め、それをうまく扱えないHTTPプロキシもありますが、実際にはほぼすべての本物の用途はwssです。TCPを解釈せずに中継するSOCKS5プロキシは、どちらも問題なく運びます。ソケットに特有の失敗の形は継続時間です。何時間も開いたままの接続は、出口の安定性を構成の一部にし、ローテーティングのプールの出口は持続するようには作られていません。長く続くフィードには、静的なアドレスか、作業に合わせた長さのスティッキーセッションが向いています。
大量になると重要になる性質がもうひとつあります。ソケットは、リクエストにはない形で状態を持ちます。購読、認証、サーバーが考えるお客様の身元はすべてひとつの接続の上に住んでいるため、ストリームの途中で出口が消えると、再接続と再購読が必要になります。よく作られた利用側は、それをエラーとしてより、想定内の出来事として扱います。
よくある質問
WebSocketはプロキシ経由で動きますか?
一般には動きます。暗号化された形のwssは、他のHTTPSのトラフィックと同じCONNECTトンネルの中でHTTPプロキシを通り、SOCKS5は普通のTCPとして中継します。HTTPプロキシ経由の暗号化されていないwsは壊れやすい組み合わせで、プロキシがUpgradeのハンドシェイクを中継する必要があり、その対応はまちまちです。実際の導入は圧倒的にwssなので、ほとんどの構成はそのまま動きます。
ライブのページをスクレイピングすると、データが欠けているのはなぜですか?
ページが殻で、コンテンツは読み込み後にソケット経由で届くからです。ドキュメントを取得しても、骨組みしか取れません。効率的な直し方は、ブラウザのネットワークタブでソケットのエンドポイントを見つけて直接接続し、ページが送るのと同じ購読のメッセージを送ってフィードを受け取ることです。それはたいてい、レンダリングされたページを解析するよりきれいな構造化データを返します。
WebSocketのフィードにはどのプロキシのタイプを使うべきですか?
1時間後も出口が存在しているタイプです。開いたままの接続は、出口の安定性を設計の一部にするため、ローテーティングのプールは形が合いません。静的なアドレス、ISPプロキシ、あるいは接続の想定寿命に合わせた長さのスティッキーセッションのほうが適しています。持続性以外では、通常のネットワークの信頼に関する考慮事項がそのまま当てはまります。サイトにはソケットの発信元が、リクエストの発信元とまったく同じように見えるからです。
WebSocketの接続にはレート制限がありますか?
リクエストとは別の形であります。サイトはアドレスごと、アカウントごとに同時接続数の上限を設け、接続内のメッセージの頻度を抑制し、広く購読しすぎる利用者を切断します。状態が接続の上にあるため、取り締まりはエラーコードより切断の形をとることが多く、回復力のある利用側は、再接続と再購読を当然のこととして想定しています。
用語集全体に戻る。

