ウェブスクレイピング向けプロキシ。 ブロックされにくい設計。
スクレイピングが失敗する何よりの理由は、1つのアドレスからのリクエストが多すぎることです。ローテーティングのレジデンシャルIPが負荷を分散させるため、クロールは大勢の訪問者のように見え、ブロックされずに完了します。
合うもの
3件の商品が合います(おすすめ順)
- レジデンシャルプロキシ
- スクレイピングの主力: GB単位で課金される本物の家庭用IPのローテーティングプールで、どのアドレスもサイトが数える上限を超えないようにします。
- スクレイパーAPI
- 手間いらずの選択肢: URLを入れればクリーンなデータが出てきて、プロキシのローテーション、再試行、ブロック解除が処理されるため、ボット対策との攻防を完全に省けます。
- データセンタープロキシ
- ネットワークで審査しないサイト、自社サービスの負荷テスト、まったく気にしない情報源のスクレイピングのための、安くて速い選択肢。
ほぼすべてのブロックは、IPあたりのリクエスト数に行き着きます
スクレイパーが出会う障害、つまりレート制限、CAPTCHA、突然のバンは、圧倒的に1つのアドレスが短時間に多すぎるリクエストを送ったことへの反応です。サイトはIPごとに数えるため、解決策は構造的なものです: リクエストをプールに分散させ、どのアドレスのリクエスト数も減らすことです。
それがローテーティングのレジデンシャルプロキシの役割です。同じ総量を何千もの本物の家庭用IPに分散させれば、どれもボット対策が作動するしきい値を超えず、かつて数千リクエストで止まっていたクロールが最後まで走ります。
ターゲットに合わせてプロキシを選ぶ
適切なプロキシは、何をスクレイピングするかで決まります。データセンターのレンジを審査するサイトにはレジデンシャルが必要です。レート制限だけのサイトなら、より安いデータセンターのIPで十分なこともあります。本格的なボット対策のあるサイトは、直接戦うよりスクレイパーAPIに任せた方がよいことがよくあります。
正直なルールは、ターゲットを乗り切れる最も安い選択肢から始め、通用しないときだけ上位に移ることです。必要のない情報源にレジデンシャルの料金を払う必要はありません。本格的に始める前の最初の調査には、無料プロキシリストがあります。
ウェブスクレイピング向けプロキシの設定方法
- 1
ターゲットでプールを選ぶ
ネットワークで審査しないサイトにはデータセンター、審査するサイトにはレジデンシャル、強力なボット対策の壁の裏にあるターゲットにはスクレイパーAPI。まず少量のサンプルで安い方を試してください。
- 2
ワーカーごとに1本の回線を生成
ダッシュボードかAPIで、国と必要な回線の数を選んでください。countを10にすれば10のワーカーに10本の回線が割り当てられ、ローテーティングの回線ではリクエストごとに別のアドレスから出ます。
- 3
- 4
クロールの前にリクエストを1件確認
回線経由でプロキシチェッカーかIP検索にリクエストを1件送ってください。出口は選んだ国にあり、ご自身のアドレスではないはずです。
- 5
サイトが必要とする場合だけアドレスを維持
ログインや複数ページの流れには、stickyMinutesを追加して、1つのアドレスでセッション全体を処理してください(Premiumでは最大1,440分)。それ以外はローテーションさせ、各アドレスをサイトが数える上限以下に保ちます。
ウェブスクレイピング: よくある問題と解決策
- HTTP 429、リクエスト過多
- 1つのアドレスが送りすぎています。作業をより多くの回線に分散させるか、各ワーカーを遅くするか、リクエストごとにローテーションしてください。
- すべてのページでCAPTCHA
- ネットワークかクライアントがスクレイパーの正体を明かしています。データセンターからレジデンシャルに移るか、本物のブラウザが送るヘッダーを送るか、そのターゲットをスクレイパーAPIに任せてください。
- ページに別の国の価格や言語が表示される
- 出口の国が違うか、Cookieが以前の訪問を覚えています。回線で国を設定し、各セッションを古いCookieなしで始めてください。
- リクエストがタイムアウトする
- レジデンシャルの出口は本物の家庭用回線で、遅いものもあります。タイムアウトを設定し、新しい回線でリクエストを再試行し、1本の回線に多くの並列リクエストを積み重ねないでください。
- クロールが1時間動いた後に失敗する
- サイトがパターンを学習しました。リクエストの順序とタイミングを変え、クロールをより多くのアドレスに分散させてください。
設定ガイドとツール
FAQ
Webスクレイピングに関する質問への回答
ウェブスクレイピングに最適なプロキシの種類は?
防御のあるサイトにはローテーティングのレジデンシャル、防御のないサイトにはデータセンター、プロキシをまったく管理したくないならスクレイパーAPI。決めるのはターゲットです: 安いものから始め、情報源が安い選択肢をブロックしたときだけ上位に移ってください。
スクレイピング中にブロックされ続けるのはなぜですか?
ほぼ必ず、1つのIPからのリクエストが多すぎるからです。サイトはアドレスごとに数えるため、1つのプロキシで大量に取得するとレート制限やCAPTCHAを受けます。ローテーティングプールにクロールを分散させるのが構造的な解決策です。
ウェブスクレイピングにはいくつのプロキシが必要ですか?
レジデンシャルで購入するのはトラフィックです。アドレス数は購入の単位に入りません: 1つのプランでワーカーに必要なだけ回線を生成でき、ローテーティングの回線ではリクエストごとに別のアドレスから出られます。データセンターはアドレス単位で販売するため、同時に動かす数だけ購入します。
レジデンシャルプロキシはリクエストごとにローテーションしますか?
はい。stickyMinutesで回線にアドレスを維持させない限りはそうです。それはログインや複数ページの流れのための設定で、単純なページ取得ではローテーションさせてください。
プロキシでのスクレイピングにはいくらかかりますか?
レジデンシャルはトラフィックのギガバイト単位で課金されるため、コストは取得量に比例し、残高に期限はありません。必要なものだけを取得し、解析しない画像をスキップすれば安く抑えられます。現在のGB単価は料金ページをご覧ください。
プロキシでのスクレイピングは合法ですか?
プロキシが変えるのはリクエストの送信元で、収集してよいものの範囲は変わりません。何をどれくらいの頻度でスクレイピングし、個人データをどう扱うかは、サイトの規約と、あなたが活動する地域の法律に基づくあなたの責任のままです。

