大企業はAI検索クローラーを拒否しているか？S&P 500の500社調査

GarminとSimon Property Groupの公開robots.txtでは、PerplexityBotに対する例外なしの全面的なDisallowを確認しました。一方、AirbnbとNorthrop GrummanはGPTBotとClaudeBotを拒否し、検索用エージェントには別のルールを設けています。

2026年9月26日、以前のllms.txt調査で使用した500社の企業ドメインを再調査しました。検索、学習、ユーザーの依頼による取得を分け、8種類のエージェントについて公開ルールを整理しています。

検索用はOAI-SearchBot、Claude-SearchBot、PerplexityBot。学習用はGPTBot、ClaudeBot。ユーザー操作による取得はChatGPT-User、Claude-User、Perplexity-Userです。すべてのAI関連エージェントを網羅する調査ではありません。

ユーザー操作による取得は、通常のクロールと同じようにrobots.txtへ従うとは限りません。ここで数えているのは公開されたルールであり、実際にリクエストが拒否された回数ではありません。

FortinetのClaudeBotとPerplexity-Userは、エージェント名を指定した拒否ではなく、ワイルドカードグループの適用による結果です。企業別データには、その違いも記録しています。

OAI-SearchBotとClaude-SearchBotの全面的な拒否は、明確に分類できた302ファイルでは確認できませんでした。ただし、残る198社を許可扱いにはしていません。

Cadenceのファイルには、User-agentとAllowを同じ行に記した箇所がありました。意図を推測して許可とすることも、ワイルドカードへ落として拒否とすることも避け、曖昧として扱いました。

今回は先頭のスラッシュを欠くパス、完全なURL、所属グループのないルールなどを保守的に扱っています。1行でも構文に疑義があれば、そのファイル全体を曖昧としています。各クローラー固有の解釈を再現したものではありません。

対象は2026年7月26日に保存したS&P 500の503証券・500社の固定コホートです。9月26日時点の構成銘柄を改めて確定した調査ではありません。子会社や商品別サイトを網羅せず、保存済みの企業ドメインの/robots.txtを取得しました。

CitationWorksを名乗るユーザーエージェントで取得し、通常のリダイレクトを許可。タイムアウトは15秒、本文上限は512,000バイトです。AIクローラーへの偽装はしていません。時刻、HTTP状態、最終URL、本文ハッシュ、ルールの行番号を記録しました。

特定エージェントのグループをワイルドカードより優先し、同じエージェントの複数グループを統合。全面的なDisallow、例外付きの全面ルール、パス単位の制限を区別しました。404と410は「ファイルなし」、取得エラーは「取得不能」です。レビューはAI支援によるもので、独立した人手の二重コーディングではありません。

学習への利用、検索での発見、ユーザーが依頼したページ取得を分けて方針を決めるところから始めてください。robots.txtを変えただけでAIに推薦される保証はありません。実際のアクセス可否にはサーバーやCDNの設定も関わります。

この調査では、各社のAI上の露出、流入、売上への影響を測定していません。公開ルールを、露出を失った証拠として使うことはできません。