JA
今すぐ始める

用語集

スクレイピングと自動化

レート制限

1つの発信元が一定時間に送れるリクエスト数にサイトが設ける上限。スクレイパーが出会う最も一般的な障害です。

レート制限とは、ひとつの送信元がどれだけ速く要求できるかの上限です。それを超えると、サーバーは期間がリセットされるまで提供を止め、多くの場合429 Too Many Requestsのレスポンスを返します。これは、単一のクライアントが他の全員に必要な容量を使い尽くさないようにするために存在し、お客様について何の意見も持たないサーバーによって適用されます。

その決定的な性質は、意図を見ないことで、ここは理解しておく価値のある部分です。カウンターは、お客様が敵対的なのか単に忙しいのかを知りません。送信元ごとにリクエストを数え、その数に基づいて動くだけなので、完全に正当な大量の作業も、悪用とまったく同じように制限に引っかかります。行儀が良くても、算数からは逃れられません。

カウンターはほとんどの場合、何かを識別するものに結びついています。IPアドレス、APIキー、アカウント、セッションなどです。どのキーを使っているかで取れる選択肢が決まるため、決めつけずに確かめる価値があります。サイトがアドレスごとに制限しているなら、リクエストをプールに分散させれば機能します。APIキーごとに制限しているなら、アドレスを増やしても何も変わらず、別のキーか遅いペースが必要です。

だからこそローテーティングプロキシが存在し、それがその働きの誠実な説明です。ローテーティングプロキシは、単一のカウンターにトラフィックを集中させるのをやめさせるものです。同じ総量をプロキシプールで分割すれば、各アドレスは閾値に近づくこともなく、余裕をもってその下にとどまります。何も回避しておらず、算数を組み替えただけです。

返ってくるレスポンスは多くを教えてくれ、正しく読めば何日も節約できます。429には通常Retry-Afterヘッダーが付いており、待つべき時間が正確に示されています。それはサイトが自らのルールを平易な言葉で伝えているものです。それに従うことは、礼儀正しい振る舞いであると同時に効果的な振る舞いでもあります。無視してすぐに再試行することこそが、一時的な抑制をより長いブロックへとエスカレートさせるからです。

ただし、自ら名乗らない制限もあり、その静かな種類こそが危険です。選択肢を持つアンチボットシステムは、拒否する代わりに質を落とすことがよくあります。遅いレスポンス、途中で切れた結果、古いキャッシュのデータ、あるいは黙って省かれたレコードなどです。リクエストは200を返し続け、データセットは間違っています。大量にウェブスクレイピングを行う人は、ステータスコードを信じず、既知の正しい基準と結果を比べるべきです。

最も過小評価されている対策は、単にばらつきを持たせてゆっくり進むことです。固定の遅延そのものが検知可能なパターンで、間隔に本物のばらつきを持たせれば、制限の下にとどまりつつ、機械的にも見えにくくなります。時間はかかりますが、抑制され、チャレンジを受け、最終的にブロックされることでエスカレートしていくコストより、時間のほうがたいてい安上がりです。

よくある質問

429エラーとはどういう意味ですか?

Too Many Requests、つまりサーバーが数えている単位の許容量を超えたということで、期間がリセットされれば再び提供されます。Retry-Afterヘッダーを確認してください。待つべき時間が正確に記されています。これは一時的な拒否で、そのとおりに扱って間隔を空ければ、たいていそれで十分です。

プロキシを増やせば、レート制限は必ず解決しますか?

制限がIPアドレスごとに数えられている場合だけです。APIキー、アカウント、セッションのCookieに結びついているなら、カウンターはそもそもアドレスを見ていないため、アドレスを増やしても何も変わりません。それを解決するための容量を購入する前に、制限が何に結びついているかを確かめてください。そうしないと、間違った次元を拡張することになります。

サイトのレート制限はどうやって調べられますか?

APIドキュメントや、制限、残りの許容量、リセット時刻を示すレスポンスヘッダーで公開されていることもあります。公開されていない場合は、慎重に実際に確かめてください。考えられるどの閾値よりも十分低いところから始め、少しずつ増やし、最初の429や、コンテンツの質が落ちる最初の兆候に注意してください。制限を見つけるためにわざとサイトを叩くのは、無礼であると同時に、より長いブロックを招く確実な方法です。

IPをローテーションするのと遅くするのでは、どちらが良いですか?

両方です。それぞれが別の半分を解決します。ローテーションは量がひとつのカウンターに集中するのを防ぎ、本物のばらつきを持たせて遅くすることは、トラフィックそのもののパターンに対処します。後者にはローテーションは何の効果もありません。機械のように規則正しいリズムを保つほど速くローテーションしても、多くのアドレスをまとった機械に見えるだけです。

レート制限が静かに行われることはありますか?

あります。そしてそれは最も警戒すべき失敗です。拒否する代わりに質を落とすサイトもあります。遅いレスポンス、少ない結果、古いキャッシュの値、黙って欠けたレコードなどで、どれも完全に普通の200で返されます。ログにそれを示すものは何もありません。唯一確実な防御は、集めたデータを、クリーンだとわかっているリクエストと定期的に比べることです。

用語集全体に戻る。

HProxy.

定義だけで分かることには限りがあります。 実行と 実際のターゲット.

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy