JA
今すぐ始める

用語集

パフォーマンス

帯域幅

プロキシが転送できるデータ量で、レジデンシャルプロキシとモバイルプロキシの一般的な課金単位です。

帯域幅とは、接続が運べるデータの量のことで、レジデンシャルプロキシでは請求書の項目でもあります。そうしたプールがギガバイト単位で課金されるのは、供給が本物の元の回線で計量されているからで、実際に購入している資源はアドレスより、トラフィックです。この一点の事実が、スクレイパーの書き方を変えます。

変わるのは、ページの重さが費用の項目になることです。現代の商品ページは一般に1〜3メガバイトで、その圧倒的大部分は画像、フォント、動画、トラッキングのスクリプト、スタイルシートです。実際に欲しいデータを運ぶHTMLは、多くの場合そのうち100キロバイト未満です。ブラウザと同じようにページを取得すれば、すぐに捨てる写真をダウンロードするためにレジデンシャルの料金を払うことになります。

だからこそ、帯域幅の節制は、利用できる中で最も効果の大きいコスト管理で、誰とも交渉する必要がありません。圧縮をリクエストし、それに従ってください。参照されているすべてのアセットを自動的に取得せずに、ドキュメントを取得してください。本物のブラウザを動かしているなら、画像、メディア、フォントのリクエストをネットワーク層でブロックしてください。ヘッドレスブラウザは、本物のブラウザとまったく同じように、初期設定ではすべてを取得するからです。サイトにJSONのエンドポイントがあるなら、レンダリングされたページよりそちらを選んでください。たいていわずかなサイズで、解析もしやすいからです。

再試行は静かに掛け算をするものなので、別途触れておく価値があります。レスポンスの大部分をすでに転送した後に失敗したリクエストでも、そのトラフィックの費用はかかっているため、不安定な対象への強引な再試行の方針は、何も余分に集めずに請求額を倍にすることがあります。何度も失敗するより、早めに失敗するほうが安上がりです。

帯域幅とレイテンシも分けて考える価値があります。2つは独立しているのに、日常的に混同されるからです。帯域幅は毎秒どれだけ通せるか、レイテンシは1回の往復にどれだけかかるかです。接続は一方を十分に持ちながら、もう一方をほとんど持たないことがあります。大量の収集は帯域幅と並行性で決まり、対話的なものはまずレイテンシとして感じられます。間違ったほうを増やしても何も直りません。

最後に、すべてのタイプがこの方式で課金されるわけではありません。データセンターとISPのプロキシは通常、アドレス単位で販売され、トラフィックは十分な量か無制限です。供給が、誰かの従量制の家庭用回線の代わりに、ラックのマシンだからです。作業が本当に帯域幅を大量に使い、対象がネットワークの種類で選別しないなら、データセンタープロキシに移すほうが、リクエストをどれだけ調整するより大きな節約になることがよくあります。

HProxyでの扱い

レジデンシャルはギガバイト単位で課金されるため、当社がお伝えできる最も安上がりな助言は、多くの場合、より多く買うことより、使う量を減らすことです。解析するものだけを取得し、レジデンシャルの信頼を必要としない、本当に帯域幅を大量に使う作業は、代わりにデータセンターのアドレスに移してください。

よくある質問

プロキシの帯域幅のコストを下げるには、どうすればよいですか?

解析しないものをダウンロードするのをやめてください。圧縮を有効にし、必要でなければ画像、フォント、動画、スタイルシートを取得せず、ヘッドレスブラウザを動かすならそうしたリクエストの種類を明示的にブロックしてください。初期設定ではすべてを取得するからです。JSONのエンドポイントがあるなら、レンダリングされたページよりそちらを選んでください。そして再試行は最小限にしてください。再試行したリクエストは、すでに運んだトラフィックの分も払うからです。

帯域幅の使用量がページのサイズから想像されるより多いのはなぜですか?

たいてい、HTMLを計測しながらページ全体の料金を払っているからです。ブラウザが取得する画像、フォント、スクリプト、スタイルシートはすべて数えられ、リダイレクト、失敗した試行、あきらめる前に部分的なレスポンスを転送した再試行も数えられます。TLSのハンドシェイクとヘッダーも少し上乗せされます。手元に残したドキュメントのサイズを測る代わりに、実際に回線を通ったものを計測してください。

無制限の帯域幅は本当にありますか?

存在しますが、一般には別の制約が付いてきます。従量制でないトラフィックは、アドレス単位、ポート単位、または同時接続数の上限付きで販売される傾向があり、それはコストが従量制の一般消費者向けトラフィックの代わりにマシンであるデータセンターやISPの供給に向いています。どこかに必ず制限があるため、実際の制限が何かを読んでください。

スクレイピングでは、帯域幅とレイテンシのどちらが重要ですか?

大量の収集を決めるのは帯域幅と並行性、つまり一定時間内に運ぶ総量です。レイテンシが決めるのは、各往復が終わってから次が始まる、対話的または順番に進むものです。作業が独立した取得の長い列なら、並行性を高めると効果があり、レイテンシの低さはほとんど影響しません。各手順が前の手順に依存するなら、その逆です。

用語集全体に戻る。

HProxy.

私たちの言葉をうのみにする必要はありません。 ご自身で測定してください。

お使いのブラウザから実際のアドレスに対して実行します。登録不要で、リストも保存しません。

HProxy