JA
今すぐ始める

ウェブスクレイピング向けプロキシ。 ブロックされにくい設計。

スクレイピングが失敗する何よりの理由は、1つのアドレスからのリクエストが多すぎることです。ローテーティングのレジデンシャルIPが負荷を分散させるため、クロールは大勢の訪問者のように見え、ブロックされずに完了します。

今すぐ始めるガイドを読む

合うもの

3件の商品が合います(おすすめ順)

レジデンシャルWebスクレイピングにおすすめ

200以上の国の実デバイスIP

  • ローテーティングまたはスティッキーセッション
  • Premiumでは州・都市・ISP指定
  • GB単位の支払い、残高は期限なし
  • HTTPとSOCKS5

最安

$0.23/ GB

今すぐ始める

Webスクレイパー

1回のRESTコールで構造化JSON

  • プロキシ、再試行、解析をすべて処理
  • ブロックやエラーになったコールは課金されません
  • 残高からコール単位でお支払い
  • サブスクリプションも月額の最低額もなし

最安

$1.49/ 1,000回の呼び出し

今すぐ始める

データセンター

IPv4とIPv6

  • 期間中はあなた専用
  • 帯域幅無制限
  • 最大1 Gbpsのポート速度
  • HTTP、HTTPS、SOCKS5

最安

$0.10/ IP

今すぐ始める
レジデンシャルプロキシ
スクレイピングの主力: GB単位で課金される本物の家庭用IPのローテーティングプールで、どのアドレスもサイトが数える上限を超えないようにします。
スクレイパーAPI
手間いらずの選択肢: URLを入れればクリーンなデータが出てきて、プロキシのローテーション、再試行、ブロック解除が処理されるため、ボット対策との攻防を完全に省けます。
データセンタープロキシ
ネットワークで審査しないサイト、自社サービスの負荷テスト、まったく気にしない情報源のスクレイピングのための、安くて速い選択肢。

ほぼすべてのブロックは、IPあたりのリクエスト数に行き着きます

スクレイパーが出会う障害、つまりレート制限、CAPTCHA、突然のバンは、圧倒的に1つのアドレスが短時間に多すぎるリクエストを送ったことへの反応です。サイトはIPごとに数えるため、解決策は構造的なものです: リクエストをプールに分散させ、どのアドレスのリクエスト数も減らすことです。

それがローテーティングのレジデンシャルプロキシの役割です。同じ総量を何千もの本物の家庭用IPに分散させれば、どれもボット対策が作動するしきい値を超えず、かつて数千リクエストで止まっていたクロールが最後まで走ります。

ターゲットに合わせてプロキシを選ぶ

適切なプロキシは、何をスクレイピングするかで決まります。データセンターのレンジを審査するサイトにはレジデンシャルが必要です。レート制限だけのサイトなら、より安いデータセンターのIPで十分なこともあります。本格的なボット対策のあるサイトは、直接戦うよりスクレイパーAPIに任せた方がよいことがよくあります。

正直なルールは、ターゲットを乗り切れる最も安い選択肢から始め、通用しないときだけ上位に移ることです。必要のない情報源にレジデンシャルの料金を払う必要はありません。本格的に始める前の最初の調査には、無料プロキシリストがあります。

ウェブスクレイピング向けプロキシの設定方法

  1. 1

    ターゲットでプールを選ぶ

    ネットワークで審査しないサイトにはデータセンター、審査するサイトにはレジデンシャル、強力なボット対策の壁の裏にあるターゲットにはスクレイパーAPI。まず少量のサンプルで安い方を試してください。

  2. 2

    ワーカーごとに1本の回線を生成

    ダッシュボードかAPIで、国と必要な回線の数を選んでください。countを10にすれば10のワーカーに10本の回線が割り当てられ、ローテーティングの回線ではリクエストごとに別のアドレスから出ます。

  3. 3

    回線をスクレイパーに入れる

    すべての回線は同じログイン情報でHTTPとSOCKS5で動きます。下の設定ガイドで、Pythonのrequests、Scrapy、Playwright、Puppeteer、Seleniumのどこに回線を入れるかを説明しています。

  4. 4

    クロールの前にリクエストを1件確認

    回線経由でプロキシチェッカーかIP検索にリクエストを1件送ってください。出口は選んだ国にあり、ご自身のアドレスではないはずです。

  5. 5

    サイトが必要とする場合だけアドレスを維持

    ログインや複数ページの流れには、stickyMinutesを追加して、1つのアドレスでセッション全体を処理してください(Premiumでは最大1,440分)。それ以外はローテーションさせ、各アドレスをサイトが数える上限以下に保ちます。

ウェブスクレイピング: よくある問題と解決策

HTTP 429、リクエスト過多
1つのアドレスが送りすぎています。作業をより多くの回線に分散させるか、各ワーカーを遅くするか、リクエストごとにローテーションしてください。
すべてのページでCAPTCHA
ネットワークかクライアントがスクレイパーの正体を明かしています。データセンターからレジデンシャルに移るか、本物のブラウザが送るヘッダーを送るか、そのターゲットをスクレイパーAPIに任せてください。
ページに別の国の価格や言語が表示される
出口の国が違うか、Cookieが以前の訪問を覚えています。回線で国を設定し、各セッションを古いCookieなしで始めてください。
リクエストがタイムアウトする
レジデンシャルの出口は本物の家庭用回線で、遅いものもあります。タイムアウトを設定し、新しい回線でリクエストを再試行し、1本の回線に多くの並列リクエストを積み重ねないでください。
クロールが1時間動いた後に失敗する
サイトがパターンを学習しました。リクエストの順序とタイミングを変え、クロールをより多くのアドレスに分散させてください。

設定ガイドとツール

Pythonのrequestsの設定Scrapyの設定Playwrightの設定Puppeteerの設定Seleniumの設定スクレイピング時のIPバンを避けるCloudflareを越えてスクレイピングプロキシチェッカー

FAQ

Webスクレイピングに関する質問への回答

ウェブスクレイピングに最適なプロキシの種類は?

防御のあるサイトにはローテーティングのレジデンシャル、防御のないサイトにはデータセンター、プロキシをまったく管理したくないならスクレイパーAPI。決めるのはターゲットです: 安いものから始め、情報源が安い選択肢をブロックしたときだけ上位に移ってください。

スクレイピング中にブロックされ続けるのはなぜですか?

ほぼ必ず、1つのIPからのリクエストが多すぎるからです。サイトはアドレスごとに数えるため、1つのプロキシで大量に取得するとレート制限やCAPTCHAを受けます。ローテーティングプールにクロールを分散させるのが構造的な解決策です。

ウェブスクレイピングにはいくつのプロキシが必要ですか?

レジデンシャルで購入するのはトラフィックです。アドレス数は購入の単位に入りません: 1つのプランでワーカーに必要なだけ回線を生成でき、ローテーティングの回線ではリクエストごとに別のアドレスから出られます。データセンターはアドレス単位で販売するため、同時に動かす数だけ購入します。

レジデンシャルプロキシはリクエストごとにローテーションしますか?

はい。stickyMinutesで回線にアドレスを維持させない限りはそうです。それはログインや複数ページの流れのための設定で、単純なページ取得ではローテーションさせてください。

プロキシでのスクレイピングにはいくらかかりますか?

レジデンシャルはトラフィックのギガバイト単位で課金されるため、コストは取得量に比例し、残高に期限はありません。必要なものだけを取得し、解析しない画像をスキップすれば安く抑えられます。現在のGB単価は料金ページをご覧ください。

プロキシでのスクレイピングは合法ですか?

プロキシが変えるのはリクエストの送信元で、収集してよいものの範囲は変わりません。何をどれくらいの頻度でスクレイピングし、個人データをどう扱うかは、サイトの規約と、あなたが活動する地域の法律に基づくあなたの責任のままです。

関連: AIスクレイピング, AIエージェント。

このページの用語の解説

この作業で使う用語を、わかりやすく定義しています。

用語集をすべて見る プロキシ、ネットワーク、スクレイピングのすべての用語について。

HProxy.

ここまでのすべてが稼働しています。 稼働中のIPから始めましょう。

今すぐ始めるまずWebスクレイピングのガイドを読む

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy