JA
今すぐ始める

連携 · 自動化とスクレイピング

ScraplingでHProxyを使う。

Scraplingの各フェッチャー、セッション、スパイダーにHProxyのレジデンシャルの出口を割り当てます。
今すぐ始めるガイド全文を読む
  • 5ステップ
  • 動くコード
  • HTTPとSOCKS5
  • プロキシURLにログイン

プロキシを使う理由

Scraplingでプロキシを使う理由

Scraplingは、2つのフェッチャーを1つのパッケージにまとめたPythonのスクレイピングフレームワークです: ブラウザのTLSフィンガープリントを持つ通常のHTTPと、Cloudflareのチャレンジを解くステルスブラウザ。バージョン0.4からは独自のスパイダーフレームワークも同梱しています。バージョン0.5では古いPlaywrightフェッチャーDynamicFetcherが削除されたため、それをimportしている0.4向けのコードはStealthyFetcherに移行する必要があります。

Scraplingはリクエストの見た目を変えますが、発信元のアドレスはあなたのままです。サイトはアドレスごとにリクエストを数えるため、1つのIPからのクロールは、フィンガープリントがどれほど良くても数百ページで止まります。ローテーティングレジデンシャルプールなら、リクエストごと、またはセッションごとに専用のアドレスを割り当てられます。

Setup

ScraplingでHProxyを設定する

  1. 1

    フェッチャーをインストールします: pip install "scrapling[fetchers]"、続いてブラウザのためにscrapling installを一度実行します。

  2. 2

    HProxyのダッシュボードからプロキシのホスト、ポート、ログインをコピーします。

  3. 3

    Pass proxy= to a fetcher or a session. The HTTP fetcher also takes proxy_auth=(user, pass), which keeps the password out of the logs.

  4. 4

    For several lines, build a ProxyRotator from the list and pass it as proxy_rotator= to the session.

  5. 5

    本番の実行の前に、セッション経由でIPエコーのページを一度取得してアドレスを確認します。

知っておくべきこと

ブラウザのフェッチャーが受け付けるのはhttp、https、socks4、socks5だけで、ログイン付きのSOCKS5はブラウザ内で失敗します。そこでは同じプロキシのHTTP回線を使ってください。

ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。

Scrapling、HProxyで

from scrapling.fetchers import Fetcher, StealthyFetcher

# HTTP fetcher: the login stays out of the proxy URL
page = Fetcher.get(
    "https://ipinfo.io/json",
    proxy="http://example.hproxy.com:8080",
    proxy_auth=("user-country-us", "pass"),
)
print(page.json())

# Stealth browser: same proxy, as a URL with the login inside
page = StealthyFetcher.fetch(
    "https://ipinfo.io/json",
    proxy="http://user-country-us:[email protected]:8080",
    block_webrtc=True,
)

Scrapling件の質問

よくある質問

Scraplingでプロキシをローテーションさせるには?

With a rotating gateway you do not need to: one unchanged endpoint hands out a different exit per request. For a list of fixed lines, create ProxyRotator([...]) from scrapling.fetchers and pass it as proxy_rotator= to a session. It cycles in order and accepts a custom strategy function. A session takes proxy_rotator= or proxy=, never both.

Scraplingのセッションがプロキシを無視するのはなぜですか?

From version 0.4 to 0.4.8, FetcherSession(proxy=...) was silently ignored and requests left from the real IP. The fix shipped in 0.4.9. Update Scrapling, then fetch an IP echo page through the session to confirm the address it shows.

Scraplingのブラウザフェッチャーでプロキシのパスワードが通らないのはなぜですか?

バージョン0.5.1より前は、ブラウザのフェッチャーがプロキシURLのログインをパーセントエンコードされたままブラウザに渡していました。p%40ssと書いたパスワードがp%40ssのままプロキシに届き、プロキシは407を返していました。バージョン0.5.1ではデコードされます。古いバージョンでは、プロキシをserver、username、passwordを持つ辞書として渡してください。そうすればログインは入力したとおりに扱われます。

ScraplingはSOCKS5プロキシに対応していますか?

HTTPフェッチャーは対応しています。ブラウザのフェッチャーは、ログインなしのsocks5://回線しか受け付けません。その下のブラウザがSOCKS5の認証を拒否するためで、socks5h://はInvalid proxy stringで拒否されます。ユーザー名とパスワードを使う場合は、同じプロキシのHTTP回線を使ってください。

ログインの流れでは、どのフェッチャーにプロキシを持たせるべきですか?

セッションにはスティッキー回線を。StealthySessionはリクエストをまたいで1つのブラウザを開いたままにし、ログインはアドレスがその間ずっと同じ場合にだけ維持されます。ローテーティング回線は、状態を持ち越さないFetcherでページごとに読む用途に向いています。

Scraplingのブラウザフェッチャーでレジデンシャルのトラフィックを抑えるには?

Turn on disable_resources=True and block_ads=True. A browser loads images, fonts and trackers that a scraper never reads, and residential traffic is billed per gigabyte. Both options are off by default.

準備ができたら、いつでもどうぞ。

ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。