SERPとは、検索エンジンが検索語に対して返す答えで、業界がまるごとひとつ存在するのは、2人の人が確実に同じものを見ることはないからです。結果は国、都市、言語、機器、検索する人の履歴によって変わり、つまり、すべてのSEOツールが答えるために料金を受け取っている問い、自分たちは何位かという問いには、唯一の正しい値がありません。値は場所ごとにあり、それを集めることこそが、このページの種類が産業規模でスクレイピングされる理由です。
所在地への敏感さはどのページの種類よりも深く、それは意図的なものです。検索エンジンは普通の検索語を積極的にローカライズします。同じ言葉でも、検索する人がどこにいるように見えるかによって、異なる事業者、異なるニュース、異なる順序の自然検索の結果が返り、地図形式のローカルの結果は都市レベルの位置に反応します。フランクフルトのアドレスからミュンヘンの順位を確認するのはすでに間違ったものを計測しており、だからこそ順位追跡は都市のターゲティングの典型的な用途で、出口はレジデンシャルでなければならないのです。検索エンジンはホスティングの範囲からの訪問者を即座に分類するからです。
ページそのものも10本のリンクの並びから大きく変わっており、それが収集の意味を変えています。現代のSERPには、広告、ショッピングの枠、マップパック、ニュースのカルーセル、回答ボックス、そして2024年からはAIが生成した要約が何よりも上に挟み込まれます。そのため自然検索の3位は、3位での露出の価値を変えてしまういくつもの機能の下にあります。本格的な収集は順位と並んで機能も解析します。大きくなっていく回答ボックスの下での安定した順位は、順位の数字だけでは見えない、価値の下がっていく資産だからです。
対象として、検索エンジンはスクレイピングで最も難しい定常的なケースです。量は本質的なもので、5つの都市で1,000のキーワードを毎日追跡すれば、何か面白いことが起こる前に5,000回の検索になり、防御も一流です。アドレスごとの厳格な間隔、ホスティングの範囲の即座の分類、同意やチャレンジの中間画面、そしてパーサーの保守に敵対的と感じるほど頻繁に変わる結果のマークアップです。実用的なスタックは珍しいほど固まっています。追跡する地域のレジデンシャルの出口、広いプールに分散させたアドレスごとの低いリクエスト頻度、そして絶え間ないパーサーの保守か、その3つすべてを1回の呼び出しの裏で行う専用のエンドポイントです。
計測についての注意点がひとつ、全体像を完成させます。パーソナライズにより、完璧な位置で完璧にクリーンなリクエストでさえ、観測するのはある結果で、唯一の結果にはなりません。健全な追跡は、ログアウトして履歴のない基準から行い、小さな変動はノイズとして扱います。計測しているページは、検索語ごと、場所ごと、瞬間ごとに新しく生成されているからです。
よくある質問
SERPの結果が、順位追跡ツールの表示と違うのはなぜですか?
お客様とツールが別の場所から、あるいは別のパーソナライズの状態で検索したからです。結果は国、都市、言語、機器、履歴によって変わるため、ログインした状態のお客様のローカルな表示も、ツールのクリーンな遠隔の計測も、どちらも本物でどちらも部分的です。追跡ツールは、数値を時間を通じて比較できるように、まさに定義された基準、つまりログアウトした状態と固定の場所で計測しています。
SERPのスクレイピングにはどんなプロキシが必要ですか?
計測する地域そのものにあるレジデンシャルの出口で、ローカルの結果が重要なら都市レベル、そしてアドレスごとの検索の頻度が低く保たれるだけの数のアドレスに分散させます。検索エンジンはホスティングの範囲を一目で分類し、個々のアドレスの間隔を厳格に管理するため、データセンターの供給はここではほとんど役に立たず、生の速度よりプールの広さのほうが重要です。
検索結果のスクレイピングは許されていますか?
検索エンジンの規約は一般に自動化された検索を禁止しており、契約上より技術的に、つまり間隔の管理、チャレンジ、ブロックで取り締まっています。情報そのものは公開されており、業界がまるごとそれを計測しています。法域によって異なる法的な問題は、弁護士に尋ねるべきものです。当社の運用上の最低基準はここでも変わりません。公開データ、抑えた間隔、積極的に拒否している対象に対してエスカレートしないことです。
順位は変わっていないのに、SERPのパーサーが壊れたのはなぜですか?
順位の周りでページが変わったのです。検索エンジンは機能、広告、マップパック、回答ボックス、AIの要約を絶えず並べ替え、その下の自然検索の順序はそのままでも、セレクターを粉々にする形でマークアップを調整します。SERPの解析は保守の約束で、それこそが専用のSERPエンドポイントが実際に販売しているものの大部分です。
用語集全体に戻る。

