JA
今すぐ始める

用語集

スクレイピングと自動化

Webスクレイピング

Webサイトからのデータの自動収集。人々がプロキシを大規模に使う最も一般的な理由です。

ウェブスクレイピングとは、手作業の代わりにプログラムでウェブサイトから情報を集めることです。人が価格をスプレッドシートにコピーする代わりに、スクリプトがページを取得して値を抜き出し、手作業では到底続けられない量と頻度で行います。価格モニタリング、市場調査、SEOの順位追跡、見込み客の調査、航空運賃の比較、学習用データセットの構築は、すべてこれに支えられています。

プロキシが登場する理由は算数です。レート制限はほとんどの場合アドレスごとに数えられるため、1つのIPから1万ページをリクエストすると閾値に引っかかりますが、多くのアドレスに分散した1万回のリクエストは、閾値に近づくことすらありません。やったことはトラフィックを一か所に集中させるのをやめただけで、それは本物の訪問者の集団の見え方そのものでもあります。

必要なプロキシのタイプは、対象が何で選別しているかで決まり、それは評判から推測するより、実際に確かめる価値があります。アドレスごとのリクエスト数を数えるだけのサイトなら、安価なデータセンタープロキシで十分なこともあります。ネットワークの種類で分類するサイトは、間隔をどう調整しても、すべてのデータセンターのアドレスを拒否します。思い込んだ難しさに合わせて購入する前に、必要な実際のURLをテストしてください。

手強い対象は、アドレスでは攻略できません。人々が高い授業料を払って学ぶ部分です。ネットワークの評判の先には、TLSフィンガープリント、ブラウザのフィンガープリント、行動のスコアリング、ハニーポットがあり、そのどれもがプロキシの触れない層で動いています。ブラウザでは動くのに、同じIPのスクリプトからは失敗するスクレイパーは、たいていアドレスより先に、ハンドシェイクの段階で正体を明かしています。

HTMLを集めることと、レンダリングされたページを集めることには大きな実務上の違いがあり、それがコストの大半を決めます。ドキュメントの取得は速くて安価です。本物のブラウザを動かせばJavaScriptがレンダリングされ、はるかに人間らしく見えますが、画像、フォント、スクリプトもすべて取得するため、GB単位のレジデンシャルの課金では、捨てるアセットにお金を使うことになります。多くのサイトは同じデータをわずかなサイズで返すJSONのエンドポイントを公開しており、それを見つけることが、たいていプロジェクトで最も価値のある1時間になります。

行動規範について、当社の立場ははっきりしており、自らにも適用しています。公開された個人以外のデータを集めること。自動アクセスについてサイトが公表している内容を尊重すること。他の人が使っているサービスの質を落とさないよう、リクエストの間隔を調整すること。ブロックをエスカレートの合図として扱わないこと。マナー以上の部分で何が合法かは、法域、サイトの規約、データの性質、特に個人情報が関わる場合に左右され、それは用語集より弁護士に尋ねるべき問題です。

正直な締めくくりとして、スクレイピングは保守し続けるものです。レイアウトは変わり、防御は更新され、エンドポイントは移動し、スクレイパーは動かし続けるものです。最初からそれを予算に組み込んでおくことが、安定したパイプラインと、驚きの連続を分けます。

よくある質問

ウェブスクレイピングにレジデンシャルプロキシは必要ですか?

対象がネットワークの種類で選別している場合だけで、それは決して普遍的なものではありません。多くのサイトは単にアドレスごとのリクエスト数を数えているだけで、より速くはるかに安いデータセンタープロキシで十分です。まず安価な選択肢で実際の対象のURLをテストしてください。一度もチェックしないサイトにレジデンシャルの料金を払うのは、誰にも求められていない信頼にお金を使うことです。

サイトをスクレイピングするのに、プロキシはいくつ必要ですか?

数を適当に選ばず、制限から逆算してください。対象がアドレスごとに数秒に1回程度のリクエストを許容し、決まった時間内に決まった量が必要なら、算数でプールの規模がわかります。そこに余裕を加えてください。アドレスは脱落しますし、すでにフラグが立っているものもあるからです。少数でゆっくり始めて、どこでエラーが出始めるかを計測するほうが、大きめに当てずっぽうで選ぶより優れています。

良いプロキシを使っているのに、スクレイパーがブロックされるのはなぜですか?

アドレスはいくつもある層のひとつにすぎないからです。TLSフィンガープリントは何かが復号される前にHTTPクライアントを特定し、ブラウザのフィンガープリントは主張している内容と報告している内容の矛盾を捉え、規則的すぎる間隔はそれだけで目立ちます。本物のブラウザでは動き、同じIPのスクリプトからは失敗するリクエストは、ネットワークより上の層で捕まっています。

ウェブスクレイピングは合法ですか?

法域、サイトの利用規約、そして何よりデータの性質に左右され、個人情報にははるかに厳しい義務が伴います。そのため、当社より弁護士に尋ねるべき問題です。当社自身の運用ルールを最低限の基準として提案するなら(法的助言にはあたりません)、公開された個人以外のデータを扱うこと、自動アクセスについて公表されたルールを尊重すること、他の誰かのサービスの質を落とさないようリクエストの間隔を調整することです。

ヘッドレスブラウザと通常のHTTPリクエスト、どちらを使うべきですか?

できる場面ではリクエストを、必要な場面ではブラウザを使ってください。通常の取得は劇的に速く安価で、GB単位の課金では捨てる画像やフォントへの支払いも避けられます。ヘッドレスブラウザが正当化されるのは、データがJavaScriptの実行後にしか本当に存在しない場合です。それに手を伸ばす前に、ページが直接呼び出せるJSONのエンドポイントから供給されていないか確認してください。それはよくあることで、たいていはるかに小さいサイズです。

用語集全体に戻る。

HProxy.

定義だけで分かることには限りがあります。 実行と 実際のターゲット.

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy