JA
今すぐ始める

用語集

スクレイピングと自動化

リトライのロジック

スクレイパーが失敗したリクエストをどう扱うか。下手にやると帯域幅を無駄にしてブロックを悪化させ、うまくやれば一時的な失敗のほとんどを静かに救えます。

再試行のロジックとは、リクエストが失敗したときにスクレイパーが行うことで、不安定なネットワークに耐えるパイプラインと、一時的なつまずきを請求書とブロックに変えてしまうパイプラインを分けるものです。大規模になると失敗は避けられず、切れた接続、遅いオリジン、一時的なレート制限など、そのほとんどは一時的なものなので、再試行は正しい判断です。下手な再試行は、スクレイピングで最もよくある自業自得の傷のひとつです。

中核となる規律はバックオフです。すぐに叩き直さずに、試行のたびに待つ時間を長くすることです。指数バックオフ、つまり毎回遅延を2倍にし、多くのワーカーが足並みをそろえて再試行しないよう少しのランダムさを加える方法は、負荷を分散させ、苦しんでいる対象に回復の余地を与えます。すぐに再試行すると逆のことが起こり、すでに失敗していたものにさらにリクエストを積み上げ、まさにそれによって緩いレート制限が厳しいブロックになるのです。失敗は速度を落とせと告げていたのに、すぐの再試行は速度を上げることで答えるのです。

失敗を読むことが、賢い再試行と愚かな再試行を分け、失敗の種類ごとに異なる対応がふさわしいのです。Retry-Afterヘッダー付きの429は正確な指示で、その時間だけ待てばよく、推測は不要です。503はバックオフしての再試行に値します。接続のタイムアウトには、別の出口が必要なだけかもしれません。しかし403、CAPTCHA、質の落ちたコンテンツは、お客様についての判断です。それを同じアドレス、同じフィンガープリントのまま再試行しても、ブロックを確認するためにお金を使うだけです。それらに必要なのは、もう一度試すことより、新しいアドレスや別の方法といった何かを変えることです。

GB単位の課金では忘れがちなコストの面があります。レスポンスの大部分を転送した後に失敗したリクエストでも、そのトラフィックの費用はかかっているため、不安定な対象への強引な再試行の方針は、何も余分に集めずに帯域幅の請求額を何倍にもすることがあります。試行回数の上限、試行の間のバックオフ、一時的でない失敗の再試行をやめるルールこそが、リクエストを救う再試行の方針と、静かにコストを倍にする方針を分けるものです。

よくある質問

指数バックオフとは何ですか?

試行の間の待ち時間が毎回増えていく、通常は2倍になっていく再試行の戦略で、多くのワーカーが一斉に再試行しないよう、たいてい少しのランダムさを加えます。負荷を分散させ、苦しんでいる対象に回復の余地を与えるため、すぐの再試行が失敗するところで成功します。一時的なリクエストの失敗を扱う、標準的で賢明な初期設定です。

失敗したリクエストはすべて再試行すべきですか?

いいえ。そしてこれはよくある間違いです。一時的な失敗、つまりタイムアウト、503、Retry-Afterの遅延後の429は再試行してください。2回目で成功することが多いからです。403、CAPTCHA、質の落ちたコンテンツをそのまま再試行しないでください。それらは不具合とは違う、お客様についての判断なので、同じアドレスとフィンガープリントで再試行しても、ブロックを確認するために払うだけです。何かを変えるか、やめてください。

下手な再試行のロジックでプロキシのコストが増えることはありますか?

GB単位の課金では大きく増えます。レスポンスの大部分を転送した後に失敗したリクエストは、すでにその帯域幅の費用がかかっているため、不安定な対象への強引な再試行は、何も集めずに請求額を何倍にもします。試行回数に上限を設け、その間にバックオフし、一時的でない失敗の再試行をやめれば、再試行はコストを増やすものから、本当の救済に変わります。

用語集全体に戻る。

HProxy.

定義だけで分かることには限りがあります。 実行と 実際のターゲット.

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy