JA
今すぐ始める

用語集

パフォーマンス

同時接続数

同時に実行するリクエストの数。スクレイピングの処理量を左右する主なレバーで、よくある隠れた上限でもあります。

並行性(コンカレンシー)とは、同時に処理中のリクエストの数です。個々のリクエストの速度よりはるかに、スクレイパーがどれだけの作業をこなすかを決めます。100ページを並列で取得する作業は、個々のリクエストが少しも速くなくても、順番に取得する作業のわずかな時間で終わります。

プロキシは2つの形で並行性に関わります。プールがあれば、並列の各リクエストが別の出口を使えるため、ひとつのアドレスにリクエストを積み上げずに高い並行性で動かせます。しかしプロキシのサービス自体が同時接続数に上限を設けていることがあり、スレッド数を制限するプランは、ネットワークがどれほど速くても、スループットを静かに制限します。

そのため、どのプロキシでも確認する価値のある数字は、GBあたりの価格に加えて、同時接続数が制限されているかどうかです。同時接続数に制限がないことこそが、プールの本当の利点である並列処理を実際に発揮させます。

ただし、多いほど良いとは限らず、人々がやりすぎるのはここです。並行性がスループットを高めるのは、別の何かがボトルネックになるまでです。自分の帯域幅、解析しながら進めるならCPU、対象の許容度、あるいは本物のブラウザを動かすならメモリで、ブラウザは通常のHTTPリクエストよりはるかに多くを消費します。その点を超えて上げると、結果の代わりにタイムアウトと再試行が生まれ、再試行はすでに払ったトラフィックの費用をさらにかけます。

人々を不意打ちする形でレート制限とも関わります。50の異なる出口を通る50の並列リクエストは、アドレスごとのカウンターから見れば50人の別々の訪問者です。ひとつのアドレスを通る50の並列リクエストは、ほぼどんな閾値にも即座に引っかかる一斉の集中です。並行性とプールの規模は一緒に動かす必要があり、そうしなければ加えた並列処理は、単にブロックを早めるだけになります。

自分に合った数を見つける誠実な方法は、下から実際に確かめることです。控えめに始め、段階的に上げ、スループットのグラフより、エラー率を見てください。正しい設定は失敗が始まる直前の値で、それは対象ごとに異なります。それは本当は、お客様のマシンの性質より、対象の性質だからです。

HProxyでの扱い

当社のレジデンシャルプランは同時接続数やスレッド数に上限を設けていません。スレッドの上限は言葉を変えたスループットの上限で、まさに安く見えるプランを実際には遅くしてしまう制約だからです。

よくある質問

スクレイピングに適した並行性のレベルはどのくらいですか?

普遍的な数はありません。上限はお客様の側より、対象の側にあるからです。低く始め、段階的に上げ、エラー率を見てください。正しい設定は失敗が始まる直前の値です。寛容なサイトは数百の並列リクエストを受け入れることもあれば、厳しいサイトは数件しか受け入れないこともあり、同じコードでもそれぞれに異なる設定が必要になります。

並行性を高めれば、スクレイピングは速くなりますか?

ある点までは速くなり、その後は逆転します。自分の帯域幅、CPU、メモリの上限、あるいは対象の許容度を超えると、並列処理を増やしても、結果の代わりにタイムアウトと再試行が生まれます。再試行はすでに回線を通ったトラフィックの分も払うため、GB単位の課金で並行性を上げすぎると、時間とお金の両方がかかります。

プロキシプロバイダーは同時接続数を制限していますか?

多くのプロバイダーが制限しており、宣伝されずにプランの詳細に埋もれていることがよくあります。スレッドや接続数の上限は、言葉を変えたスループットの上限で、安く見えるGB単価を実際には遅いものにすることがあります。同じ単価の2つのプランでも、実際に動かせる量は大きく異なることがあるため、価格を比べる前に確認する価値があります。

並行性は、プロキシプールの規模とどう関係していますか?

一緒に動かす必要があります。多くの出口に分散した並列リクエストは多くの別々の訪問者に見え、それこそが狙いです。同じ並列処理をひとつのアドレスに押し込めば、アドレスごとの制限に即座に引っかかる一斉の集中になります。背後に十分な異なるアドレスがないまま並行性を上げても、順番に実行するよりも早くブロックされるだけです。

用語集全体に戻る。

HProxy.

私たちの言葉をうのみにする必要はありません。 ご自身で測定してください。

お使いのブラウザから実際のアドレスに対して実行します。登録不要で、リストも保存しません。

HProxy