仮想ブラウザとは、どこか別の場所、プロバイダーのインフラ上で動く本物のブラウザで、ローカルにあるかのようにネットワーク越しに操作するものです。自分のマシンにヘッドレスブラウザをインストールして動かす代わりに、ホストされたものに接続し、標準の自動化プロトコルで操作し、レンダリングされた結果を受け取ります。ブラウザを使ったスクレイピングの重く扱いにくい部分を、セッション単位で借りるサービスとしてまとめたものです。
魅力は、ヘッドレスブラウザを大規模にうまく動かすことが本当に難しく、それを肩代わりしてくれる点です。本物のブラウザのインスタンスはそれぞれ数百メガバイトのメモリと本格的なCPUを消費するため、その集団はそれ自体がインフラのプロジェクトで、それに伴う拡張、クラッシュ、リソース管理のすべてがあります。仮想ブラウザのサービスはそれを吸収します。集団を運用し、ブラウザを最新でもっともらしい状態に保ち、ブラウザのスクレイピングにどのみち必要なプロキシのローテーションとフィンガープリントの管理を組み込んでいることも多いため、1回のネットワーク呼び出しでレンダリングされたページが得られます。
これは2つの近い仲間と重なっており、どちらとも区別しておく価値があります。ヘッドレスブラウザは、同じ技術を自分のマシンで動かすものなので、仮想ブラウザは本質的にそれを管理されたサービスにしたものです。スクレイパーAPIはさらに一歩進み、ブラウザを完全に隠してデータだけを返しますが、仮想ブラウザは操作するブラウザを今も渡してくれます。どちらを選ぶかは、どれだけの制御を望むかです。ホストする必要のなかったブラウザの完全なプログラム制御か、やり方を代わりに決めてくれるより単純なエンドポイントかです。
トレードオフは、管理されたサービスによくあるものです。自分でホストするより割増料金を払い、それは自分で集団を動かすほうが安くなる規模までは払う価値があり、ブラウザの設定と振る舞いについてのプロバイダーの選択を引き継ぎます。本物のレンダリングが必要でもブラウザのインフラの運用者にはなりたくないチームにとって、それは多くの場合、実用的な中間です。そしてアンチディテクトの項目で説明した複数の身元のアカウント作業では、管理されたフィンガープリントと組み合わせたプロキシを持つホスト型のブラウザが、一か所で完結する道具一式になりえます。
よくある質問
仮想ブラウザとは何ですか?
プロバイダーの遠隔のインフラ上で動き、ローカルにあるかのようにネットワーク越しに操作する本物のブラウザです。自分でヘッドレスブラウザをホストする代わりに、ホストされたものに接続し、標準の自動化プロトコルで制御し、レンダリングされた結果を受け取ります。ブラウザを使ったスクレイピングの重い部分を、セッション単位で借りるサービスに変えるものです。
仮想ブラウザとスクレイパーAPIの違いは何ですか?
どれだけ隠すかです。仮想ブラウザは遠隔で操作する完全なブラウザを渡してくれるため、ホストせずにプログラムによる制御を保てます。スクレイパーAPIはさらに進み、ブラウザを完全に隠して、URLに対するデータだけを返します。一方は今も自分で操作する管理されたインフラで、もう一方は求める結果です。制御とシンプルさのどちらをどれだけ望むかで選んでください。
仮想ブラウザにはプロキシが必要ですか?
たいていは必要で、多くの仮想ブラウザのサービスが、まさにブラウザのスクレイピングにそれが必要だからこそ、プロキシのローテーションとフィンガープリントの管理を同梱しています。レンダリングされたセッションも、サイトが判断する何らかのアドレスから対象へ出ていくため、ネットワークの信頼はローカルのヘッドレスブラウザの場合とまったく同じように重要です。プロキシが含まれているのか、自分で用意するのかを確認してください。
用語集全体に戻る。

