GPTBotとは？
GPTBotは、モデルの学習に使われうるコンテンツを集めるOpenAIのクローラーです。ChatGPTが最新のウェブの内容で答えられるようページを取得するOAI-SearchBotや、利用者が直接尋ねたときにページを取得するChatGPT-Userとは別のものです。robots.txtでそれぞれ個別に許可・遮断できます。
OpenAIの3つのボットを別々に扱う理由
GPTBotを遮断すると、コンテンツは今後の学習に入りません。OAI-SearchBotを遮断すると、ChatGPTの検索取得から外れ、回答で引用される機会が減ります。ひとつのルールですべてを遮断するサイトは、学習を止めるつもりで、AI検索からも自らを外してしまっていることがよくあります。
- GPTBot：学習データの収集
- OAI-SearchBot：ChatGPTの検索のための索引作成と取得
- ChatGPT-User：利用者の要求で発生する都度の取得
GEOのために何をするか
AI可視性を求めるなら、少なくともOAI-SearchBotとChatGPT-Userはrobots.txtで明示的に許可します。GPTBotを許可するかは学習利用に関する事業上の判断ですが、AIに推薦されたい多くのブランドにとって、学習データに含まれることは有利に働きます。
