AIクローラーとは？
AIクローラーとは、AIシステムのために自社のウェブページを取得するボットです。モデルの学習用にコンテンツを集めるもの（GPTBot、ClaudeBot、CCBot）と、アシスタントが最新の情報で答えられるようページをその場で取得するもの（OAI-SearchBot、PerplexityBot）があります。robots.txtで許可するかどうかが、AIシステムが自社サイトについて学べるか、引用できるかを左右します。
学習用クローラーと取得用クローラー
この区別は方針を決めるうえで効いてきます。学習用クローラーを遮断すれば、自社のコンテンツは将来のモデルの重みに入りません。取得用クローラーを遮断すれば、自社のページはリアルタイムのAIの回答から外れ、多くの場合は今日の引用を失います。取得用ボットは許可し、学習用ボットは個別に判断するサイトが多く見られます。
主なAIクローラー
- GPTBotとOAI-SearchBot（OpenAI：学習と検索取得）
- ClaudeBot（Anthropic）
- PerplexityBot（Perplexity）
- Google-Extended（Geminiの学習における自社コンテンツの利用を制御）
- CCBot（Common Crawl。多くのモデルが学習に使うデータセット）
- Bytespider、Amazonbot、meta-externalagent
robots.txtでこれらのボットを明示的に指定すると、意図が伝わり、既定の挙動が変わっても記述は残ります。ワイルドカードでの許可も今は機能しますが、明示的なルールのほうが長持ちします。
