製品はHTTPの呼び出し1回です。対象のURLに、どの国から見せるか、JavaScriptをレンダリングするかといったオプションを加えて送ると、レスポンスとしてページがHTMLか解析済みのデータで返ってきます。この用語集が何ページもかけて説明していること、つまり出口の選択、そのローテーション、フィンガープリントとアドレスの照合、失敗の再試行、チャレンジの突破は、すべてエンドポイントの内側で、それを動かし続けることを仕事とする人々によって行われます。
これが存在するのは、収集の難しさが極端にばらついているからです。ほとんどのサイトには何も必要ありません。まともなプロキシを通した通常のリクエストで成功し、それはこれからも変わりません。少数のサイトは絶えず調整し直される防御の背後にあり、そこでアクセスを保つことは保ち続ける立ち位置で、その保守は誰かの継続的な作業時間です。APIはその人員の問題を従量制のサービスに変えます。運営者がすべての顧客について一度に立ち位置を保ち、お客様はその結果を利用するのです。
課金モデルが、実際に何を購入しているかを物語っています。プロキシのプランはトラフィックを計量し、スクレイパーAPIは通常、成功したリクエストごとに課金し、失敗は無料で、より難しい構成、つまりJavaScriptのレンダリングやプレミアムな出口は倍率で価格が付きます。成功ごとの課金は再試行のリスクを運営者に負わせ、それはまさにお客様が手放したかったリスクです。比較も誠実になります。ある対象でどちらの方法が安いかを決める数字は、運んだGBあたりのコストより、結果1,000件あたりのコストです。
トレードオフは制御と経済性です。簡単な対象では、生のプロキシがわずかな価格ですでに成功するため、APIの割増料金は何も買いません。そして非常に大きな量では、リクエストごとの課金が不利に積み重なります。エンドポイントの内側では、その選択も引き継ぎます。間隔、セッションの振る舞い、解析で、自前のクライアントなら細かく調整できるものです。そのため、賢明な分け方は難しさで決まります。広く簡単な大多数には生のプロキシを、運営者の保守こそが製品である手強い残りにはAPIを、そして防御の変化に応じて対象を2つの経路の間で移す柔軟さを持つことです。
組み込む前に確認しておく価値のある機能の違いがひとつあります。生のレンダリングされたページを返して抽出をお客様に任せる製品もあれば、特定の種類のサイトについて構造化された項目を返す製品もあります。後者は静かに別の壊れ方をします。レイアウトの変更が、お客様の取得の失敗の代わりに、運営者の解析のバグになるのです。どちらの失敗を自分で抱えたいかを知っておいてください。
HProxyでの扱い
当社がプロキシの各タイプと並んでスクレイパーAPIを運営しているのは、2つの経路が本当に異なる対象に適しているからで、どちらがお客様の対象に合うかをお伝えします。簡単なサイトは通常のプロキシのほうが安く、そこで当社のリクエストごとの料金を払うのは、必要のない手助けを買うことになります。
よくある質問
プロキシの代わりにスクレイパーAPIを使うべきなのはどんなときですか?
難しさで分けてください。まともな出口を通した通常のリクエストで成功する対象は、生のプロキシのほうが安く、量が増えてもそれは変わりません。防御が継続的な適応を求める対象こそ、成功ごとの課金と他者の保守が割増料金に見合う場所です。多くのパイプラインは両方の経路を同時に動かし、サイトが厳しくなったり緩んだりするのに応じて対象を移します。
スクレイパーAPIがGB単位の代わりにリクエスト単位で課金されるのはなぜですか?
納品物がトランスポートの代わりに結果だからです。成功した結果だけに課金することで、再試行と失敗のリスクが運営者に移り、それこそお客様がお金を払って手放したいものの大部分です。そして、レンダリングやプレミアムなルーティングの倍率によって、難しさに誠実に値段を付けます。比較のための正しい数字も得られます。結果1,000件あたりのコストを、プロキシを使った場合の総コストと比べるのです。
スクレイパーAPIはエンドポイントの裏で実際に何をしているのですか?
この用語集が説明するスタック全体を、継続的に運用しています。出口の選択とローテーション、セッションとCookieの扱い、ヘッダーとフィンガープリントの一貫性、求められればJavaScriptのレンダリング、チャレンジへの対処、別の身元での再試行、そして対象が質の落ちたコンテンツを提供し始める静かな失敗の監視です。価値は個々の技術そのものより、それらを最新に保つことが誰かの仕事であるという事実にあります。
スクレイパーAPIの欠点は何ですか?
コストと制御です。守られていない対象では割増料金は何も買わず、大規模になるとリクエストごとの課金は、プロキシを使ったパイプラインの数倍になることがあります。また、間隔、セッション、解析についての運営者の選択を引き継ぎ、それは自作のクライアントなら調整できるものです。そして構造化された出力の製品は、レイアウトの崩れをお客様のコードから運営者のパーサーに移し、それはもう自分では直せない失敗になります。
用語集全体に戻る。

