robots.txtは、自動化された訪問者にどう振る舞ってほしいか、どのパスを避けてほしいか、ときにはどのくらいゆっくりクロールしてほしいかを示すために、サイトがルートに公開するプレーンテキストのファイルです。行儀の良いクローラーが従う長年の慣例で、検索エンジンは厳格に守っています。
それはアクセス制御には当たらないことを、はっきりさせておくことが重要です。robots.txtはお願いをするもので、強制はしません。禁止されたパスへのリクエストを技術的に止めるものは何もありません。それでも無視するのは悪い慣行であると同時に、実務上のリスクでもあります。クローラーに避けるよう求めたパスにトラフィックが来るのを見たサイトは、訪問者が行儀の悪いボットだという手軽なシグナルを得るからです。
賢明な読み方は、robots.txtが歓迎される自動化の境界を示している、というものです。その内側にとどまれば、クローラーは、フラグの立った不正利用の側に入らず、許容されるトラフィックの側にとどまります。
仕組みは単純で、それが何十年も変わらず生き残ってきた理由の一部です。グループは、どのクローラーにルールが適用されるかを示すUser-agentの行で始まり、パスの接頭辞を並べたDisallowとAllowの行が続きます。User-agentの行のアスタリスクは、より具体的に指定されていない全員を意味します。多くのサイトはSitemapの行も公開しており、それは本当に役に立ちます。サイトが実際に見つけてほしいURLの構造化されたリストを指しているからです。
それが生む罠は本来の目的の裏返しで、賢いつもりの人を捕まえます。避けるべき場所のリストを面白い場所のリストとして読むと、禁止されたパスは、そこに何か価値あるものが隠されているヒントのように見えます。実際にはその逆であることがはるかに多いのです。正当なクローラーなら決してリクエストしないパスで、それをリクエストするものは簡単に特定されます。このファイルを地図として扱うのは、自らハニーポットに踏み込む方法です。
それはセキュリティにはあたらず、そう意図されたこともないことも、はっきりさせておく価値があります。禁止されたパスも公開されたまま到達できるため、誰でもリクエストでき、止めるものは何もありません。機密性のあるものの場所をrobots.txtに公開すると、誰も見ないよう丁寧にお願いしながら、全員にその場所を宣伝することになり、最悪の組み合わせです。
当社がとっている実務上の立場で、最低限の基準として提案したいものはこうです。読み、禁止のルールに従い、指定されたクロールの遅延に従い、提供されるサイトマップを使うこと。従うコストはほとんどかからず、サイトが許容するトラフィックの側にとどまれ、アドレスが行儀悪く振る舞っていると最も確実に示すシグナルを避けられます。
よくある質問
robots.txtを無視するのは違法ですか?
それは慣例で、法的な位置づけは法域によって異なり、サイトの利用規約と絡むこともあるため、用語集より弁護士に尋ねるべき問題です。実務上の答えは別で、より明確です。無視することは、アドレスにフラグが立つ最も確実な方法のひとつです。禁止されたパスは、まさに正当なものが何もリクエストしない場所だからです。
robots.txtは実際に何かをブロックしますか?
しません。公開されたお願いで、アクセス制御にはあたりません。禁止されたパスはどれも公開されたまま到達でき、そこへのリクエストを技術的に防ぐものは何もありません。だからこそ、機密性のあるものをそこに載せるのは逆効果なのです。礼儀だけに守りを頼りながら、全員にその場所を宣伝することになります。
robots.txtで良いデータの場所がわかりますか?
わかるのは罠の場所で、それが役に立つ逆転の発想です。どこからもリンクされていない禁止されたパスは、ハニーポットの有力な候補です。そこに現れるのは、このファイルを無視する自動化だけだからです。本当に役に立つのはSitemapの行で、サイトが積極的に見つけてほしいURLの構造化されたリストを指しています。
robots.txtはどう読めばよいですか?
クローラーごとにグループ分けされています。User-agentの行が、続くルールが誰に適用されるかを示し、アスタリスクは具体的に指定されていない全員を意味し、その下のDisallowとAllowの行がパスの接頭辞を並べています。自分に当てはまるグループ、通常はアスタリスクのグループを見つけて、そのルールに従ってください。Sitemapの行はどこにでも現れることができ、全員に適用されます。
用語集全体に戻る。

