JA
今すぐ始める

用語集

スクレイピングと自動化

データの解析

取得したレスポンスを構造化データに変えること。スクレイピングのうちネットワークの後に起きる半分で、まったく別の理由で壊れます。

取得はスクレイピングのにぎやかな半分で、プロキシ、ブロック、再試行があります。解析は静かな半分で、実際に価値が現れる場所です。レスポンスはバイト、マークアップ、JSON、ときにはもっとひどいものとして届き、解析とは、その到着からきれいな行になるまでのすべてです。デコード、ツリーの構築、選択、正規化、検証です。パイプラインはたいてい取得の速さで評価され、解析の質で命を落とします。

HTMLの場合、解析とは、タグが閉じられず入れ子が願望にすぎない現実のウェブに耐えるパーサーでドキュメントのツリーを構築することです。きちんとしたパーサーは、そうしたマークアップをブラウザと同じように修復します。正規表現による即席の抽出は、最初の属性が予想外の順序で現れるまでしか動かず、だからこそマークアップに正規表現を使うことは、コミュニティの典型的な教訓話になっているのです。ツリーができれば指し示す言語が引き継ぎ、選択がしっかり立てる土台ができた時点で解析の仕事は終わりです。

最良の解析の一手は、HTMLを丸ごと避けることであることが多いです。現代のページは、すでに構造化された形でデータを運んでいます。ページ自身のスクリプトに供給されるJSONのレスポンス、ドキュメントに埋め込まれた状態のかたまり、そしてサイトが検索エンジン向けに公開する機械可読な注釈で、商品名、価格、在庫状況が、公開の語彙でラベル付けされてscriptタグの中にあります。それらを読めば、セレクターの発掘作業なしに型付きの項目が得られ、他の仕組みがそれに依存しているため、レイアウトよりはるかに変わりにくいのです。

エンコーディングは、すべての下にある罠です。バイトは文字エンコーディングを通じてテキストになり、間違ったものを想定すると文字化けが生じます。技術的には成功した解析の、化けた通貨記号やアクセント付きの文字です。宣言された文字セットはときどき嘘をつき、圧縮されたレスポンスは何よりも先に展開する必要があり、数値はロケールをまとって届き、1.299,00と1,299.00は、どちらの記号が小数点かで食い違います。正規化、つまり価格を数値と通貨に、日付をタイムゾーンを考慮した形に、空白を詰めることも解析の一部で、それを省けば、その作業をデータのすべての利用者に移すだけです。

長持ちするパイプラインを分ける規律は、出力を検証することです。明らかに商品を売っているページで価格がゼロ件見つかる解析はシグナルで、レイアウトが動いたか、サイトが本物のページの代わりに別のものを提供したかのどちらかです。空の項目を成功として記録するパイプラインは、自信に満ちた空白で倉庫を埋めていきます。解析の失敗は、騒がしければ安く済み、静かなら破滅的です。ですから、騒がしくなるよう作ってください。

よくある質問

正規表現でHTMLを解析すべきでないのはなぜですか?

マークアップの構造、つまり入れ子、任意の順序で現れる省略可能な属性、ブラウザが修復する閉じられていないタグは、まさに正規表現が追跡できないものだからです。あるページで通用したパターンは、その兄弟ページで粉々になります。本物のHTMLパーサーは混乱をツリーに修復し、セレクターがそれを確実に指し示し、正規表現は得意なこと、つまり抽出した個々の文字列のクリーニングに役立ち続けます。

ウェブページから最も解析しやすいデータは何ですか?

ページがすでにデータとして公開しているデータです。多くのサイトは検索エンジン向けに、名前、価格、在庫状況を、scriptタグの中のラベル付きのJSONとして機械可読な注釈で埋め込んでおり、さらに多くのサイトは、ページ自身のスクリプトが使うJSONとして状態を送っています。どちらもセレクターの作業なしに型付きの項目が得られ、他のシステムが依存しているため、どちらもレイアウトより安定しています。

スクレイピングしたテキストに壊れた文字が表示されるのはなぜですか?

エンコーディングの不一致です。バイトが間違った文字セットでデコードされたのです。たいていは、間違っていたり欠けていたりする宣言を信じたことが原因です。その結果が文字化けで、それ以外は成功した解析に、化けたアクセントや通貨記号が現れます。本当のエンコーディングを検出してそれに従い、デコードの前に展開し、英語以外のテキストを含むページでテストしてください。そこなら失敗がすぐに表れます。

パーサーがまだ動いているかは、どうすればわかりますか?

ステータスコードに頼らず、出力を検証してください。期待する項目が実際に現れること、価格が数値であること、日付がもっともらしいこと、明らかに商品があるページで件数がゼロを超えることを求め、そうでなければ警報を出してください。レイアウトの変更も、静かに質の落ちたレスポンスも、項目が空だったり間違っていたりする成功した取得として現れるため、唯一確実な仕掛け線は、データそのものに対して検証することです。

用語集全体に戻る。

HProxy.

定義だけで分かることには限りがあります。 実行と 実際のターゲット.

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy