robots.txtとは？AIにとっての意味
robots.txtは、yoursite.com/robots.txt に置く平文のファイルで、サイトのどの部分を取得してよいかをクローラーに伝えます。検索エンジンの慣行として何十年も使われてきましたが、今はAI向けの制御盤も兼ねています。GPTBot、ClaudeBot、PerplexityBot、Google-Extendedへの記述が、AIが自社ブランドについて学べるか、ページを引用できるかを決めます。
できることとできないこと
robots.txtは要請であり、強制する仕組みではありません。まっとうなクローラーは従い、悪質なものは無視します。既に取り込まれた索引やモデルから内容を消すこともできません。行儀のよいボットが従う、公開された方針と考えるとよいでしょう。
AI時代の実務
- ワイルドカードに頼らず、AIクローラーを明示的に指定する
- AIの引用がほしいなら、取得用ボット（OAI-SearchBot、PerplexityBot）を許可する
- 学習用ボット（GPTBot、Google-Extended、CCBot）は方針の問題として判断する
- サイトマップとllms.txtへの参照を記載し、最新に保つ
AI可視性を求めるブランドによくある失敗は、一括の遮断によって、気づかないうちにAI検索の取得からサイトを外してしまうことです。自社のルールが実際にどのユーザーエージェントに一致するかを確認してください。
