JA
今すぐ始める

用語集

スクレイピングと自動化

XPath

HTMLやXMLの文書の一部を指定するためのクエリ言語。スクレイパーがページ内のデータを指し示す2つの方法のうち、より強力なほうです。

Once a page is fetched and parsed, extraction is the act of pointing: THAT price, THOSE titles, the link inside the third card. XPath is a language for pointing. An expression describes a path through the document tree, and evaluating it returns whichever elements, attributes or text the path reaches. The syntax reads like a filesystem with opinions: //product descends to every product element anywhere, div/span steps from parent to child, and square-bracket predicates filter what qualifies, as in //div[@class='price'] or //li[position() less than four].

Its reputation for power rests on the places the alternative cannot go. XPath matches on text content, finding the span that literally says Out of stock. It traverses upward and sideways, from the element you can identify to the parent or sibling you actually want, as in //span[text()='Total']/following-sibling::span. It counts, compares and combines conditions inside a single expression. Whole categories of extraction that are contortions in other tools are one line here.

失敗の形は、自分で書いた壊れやすさです。ブラウザの開発者ツールには、XPathをコピーする便利機能があり、ドキュメントのルートからの絶対パスを、すべての段階とインデックスを固定して出力します。そうしたパスは、その途中のどこかでレイアウトが調整されると、次の瞬間に壊れます。安定した属性に固定した手書きの相対的な式は、絶対パスを粉々にする再設計にも耐えます。技術は、今日の偶然の配置を書き込まずに、意味のある固定点、つまりid、data属性、テキストのラベルを選ぶことです。

どこで動くかは、何を書くかと同じくらい重要です。サーバー側では、スクレイパーが土台にするパーサーのライブラリがXPathをネイティブに評価し、クロールのフレームワークはそれを第一級のセレクターとして提供しています。ブラウザ内でも評価はできますが、ツールはその競合を好み、自動化のフレームワークは両方を受け付けます。実用的な習熟は二か国語です。日常的な指定にはCSSセレクターの構文を、テキストの照合や上方向への移動が必要なものにはXPathを使い、抽出ごとに選びます。

誠実な注意点がひとつあります。JavaScriptでレンダリングされるページでは、要素が存在するまでどの式も役に立ちません。XPathは解析したツリーを照会し、データが読み込み後に届くなら、解析したツリーは骨組みです。空の舞台を正確に指しても、何も指していないのと同じです。

よくある質問

スクレイピングにはXPathとCSSセレクターのどちらを使うべきですか?

両方を、作業ごとに選んで使ってください。CSSの構文はより簡潔で、日常的なケース、つまりクラス、id、属性、入れ子にはどこでも対応しています。XPathが真価を発揮するのはCSSが届かない場所です。テキストで要素を照合する、見つけた要素から親へ上ったり兄弟へ横に移ったりする、そして複数の条件をひとつの式で組み合わせることです。両方に習熟するコストは小さく、回避策の類いをまるごとなくせます。

コピーしたXPathがすぐに壊れるのはなぜですか?

ブラウザの開発者ツールのXPathのコピーは、段階とインデックスを固定した絶対パスを出力し、それはページの意味より、現在の配置を書き込んでいるからです。パスの途中の構造が変わると、それは壊れます。安定した属性やテキストのラベルに固定した短い相対的な式を書けば、コピーしたパスをまとめて消し去る再設計にも耐えるセレクターになります。

XPathでテキストによって要素を選べますか?

Yes, and it is the signature capability. Expressions can match exact text, as in //button[text()='Add to cart'], or containment via contains(), and then navigate from the matched element to whatever you actually need. CSS selectors in scraping libraries have no equivalent, which is why text-anchored extraction is the usual reason a scraper reaches for XPath.

XPathはJavaScriptを多用するページでも動きますか?

渡されたツリーを何でも照会します。ページが空の殻として届き、スクリプトの実行後に中身が埋まるなら、取得したHTMLに対して評価した式が見つけるのは骨組みです。ヘッドレスブラウザでレンダリングした後に評価するか、より良いのは、DOMをまったく指さずに読めるJSONのフィードや埋め込まれた状態としてデータが存在しないかを確認することです。

用語集全体に戻る。

HProxy.

定義だけで分かることには限りがあります。 実行と 実際のターゲット.

レジデンシャルはGBあたり$0.23から、従量課金制で、残高に有効期限はありません。

HProxy