JA
今すぐ始める

連携 · 自動化とスクレイピング

ScrapyでHProxyを使う。

ScrapyのすべてのリクエストをHProxyのレジデンシャルの出口経由で送ります。
今すぐ始めるガイド全文を読む
  • 3ステップ
  • 動くコード
  • HTTPとSOCKS5
  • プロキシURLにログイン

プロキシを使う理由

Scrapyでプロキシを使う理由

ScrapyはPython専用のスクレイピングフレームワークで、独自のスケジューラー、パイプライン、ミドルウェアを持ち、大量のクロールのために作られています。

Scrapyは多数の同時リクエストを実行するのが得意で、それこそがIPごとのレート制限に最も早く引っかかる動きです。その裏にローテーティングプールを置くことで、高い同時実行数の設定でもクロール全体がブロックされずに済みます。

Setup

ScrapyでHProxyを設定する

  1. 1

    各リクエストのmeta辞書でプロキシを設定するか、ダウンローダーミドルウェアで全体に設定します。

  2. 2

    ダッシュボードのホストとポートを使い、プロキシURLにログインを入れます。

  3. 3

    CONCURRENT_REQUESTSを上げるのは、プールが負荷を支えられるようになってからにしてください。

知っておくべきこと

プロジェクト全体には、リクエストごとに設定する代わりに、カスタムのHttpProxyMiddlewareでプロキシを設定します。

ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。

Scrapy、HProxyで

# in your spider
def start_requests(self):
    yield scrapy.Request(
        "https://ipinfo.io/json",
        meta={"proxy": "http://user-country-us:[email protected]:8080"},
    )

Scrapy件の質問

よくある質問

Scrapyのプロジェクトではプロキシをどこに設定すべきですか?

手早い作業ならリクエストごとで十分で、プロジェクト全体ならHttpProxyMiddlewareをもとにしたカスタムのミドルウェアが適切な場所です。一元的に設定すればすべてのスパイダーがそれを引き継ぎ、エンドポイントの変更も、作るリクエストごとに直す代わりに1つのファイルで済みます。

Scrapyでプロキシをローテーションさせるには?

ゲートウェイプロキシなら、その必要はありません: プールが、変わらない1つのエンドポイントの裏でリクエストごとに別の出口を割り当てます。個々のアドレスのリストを自分で管理している場合は、リクエストごとに1つを割り当てるミドルウェアが一般的な方法ですが、同じ結果のために動く部品が増えます。

Scrapyの同時実行数はプロキシの上限とどう関係しますか?

直接影響するので、意図して設定する価値があります。Scrapyの同時リクエストの設定は一度に送るトラフィック量を決め、少なすぎるアドレスに高い同時実行数を流すと、順番に実行するよりも早くアドレスごとのレート制限に引っかかります。同時実行数とプールの大きさは一緒に調整する必要があります。

Scrapyでもrobots.txtを守るべきですか?

Scrapyは標準でrobots.txtに従い、その標準はそのままにしておく価値があります。禁止されたパスは正当なものなら何もリクエストしない場所なので、このファイルを無視することは、マナー違反であることに加えて、アドレスにフラグを付けられる最も確実な方法の1つです。

準備ができたら、いつでもどうぞ。

ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。