S&P 500調査の手法を、2つの無料ツールにしました

S&P 500に含まれる全500社のコーポレートサイトで /llms.txt を確認しました。110社が成功の応答を返しましたが、実際にファイルを返したのは71社だけでした。

残る39社は、200を返しながら別のものを渡してきました。ホームページへのリダイレクト、プレーンテキストを装った汎用のエラーページ、「Be Right Back.」とだけ書かれた15バイトの本文。ステータスコードを信じるチェッカーは、これらをすべて導入済みとして数えます。

そこで、自分たちが欲しかったチェッカーを作り、無料で公開しました。

5つのステップを順番に実行します。どれも、単純な版のテストが実在の企業に欺かれたことがあるから存在しています。

1. パスを取得し、リダイレクトをたどり、リクエストが最終的にどこへ着いたかを記録します。
2. HTMLを2回はじきます。1回はContent-Typeで、もう1回は本文の先頭バイトで。サーバーによっては、ウェブページをプレーンテキストとして申告してきます。
3. 最終的なパスをリクエストしたパスと比較します。httpからhttpsへの移動でも、最後が /llms.txt なら問題ありません。ホームページへの移動は、ファイルではありません。
4. 同じドメイン上に存在し得ないランダムなパスをリクエストします。応答が一致するなら、そのサーバーは何に対しても200を返しています。
5. わからないものは、わからないままにします。403、タイムアウト、サーバーエラーは「アクセス不可」として報告し、「不在」とは決して報告しません。

最後の1つは、聞こえる以上に重要です。調査した500サイトのうち94サイトが、私たちのリクエストをブロックするか破棄しました。これらを「ファイルなし」として数えていれば、こちらが測定できなかったという事実を、その企業についての主張にすり替えることになっていました。T-Mobileは403でこちらをブロックしましたが、実際にはタイトルとリンクを備えた22,368バイトのファイルを公開しています。

有効か無効か、という分け方が適切ではありません。提案が必須としているのはH1だけで、リンクのセクションは任意です。タイトルだけでリンクのないファイルは内容が薄いものの、それを無効と呼ぶのは単に誤りです。

• タイトルとリンクあり。MarkdownのH1と、少なくとも1つのMarkdownリンクを備えた実在のテキストファイル。この基準を満たしたS&P 500企業は、500社中54社だけでした。
• 検出、タイトルのみ。ファイルは存在し、提案の要件は満たしています。読み手のために整理されたものは、まだ何もありません。
• 非標準。そのパスで何かは配信されていますが、MarkdownのH1で始まる行がありません。
• ファイルなし。リダイレクト、HTMLページ、汎用のフォールバック、空の本文、あるいは正直な404。
• 確認できず。ブロック、タイムアウト、エラー。あなたのファイルは存在している可能性が十分にあります。

タイトル、事業内容を1文、そして読む価値のあるページへのリンク。ファイルの中身はそれで全部です。ジェネレーターはブラウザ内で動作し、どこにも何も送信せず、コピーまたはダウンロードできるものを出力します。

チェッカーが探している形をそのまま書き出します。そこが要点です。ファイルを作り、公開したあとにURLを確認してください。ウェブページを黙って返すサーバーは少なくありません。

llms.txtを公開することでAIアシスタントが自社に言及する、引用する、あるいは正確に説明するようになるという根拠は、私たちは持っていません。Googleは検索がこれを無視すると述べており、生成系の機能についても同様です。提案そのものが約束しているのは、整理された地図であって、順位への効果ではありません。

ですから、正直な話は短くて済みます。安く済んで自社にとって有用なら、整ったファイルを公開してください。それよりはるかに重要な、サイトをクロール可能に保つことを続けてください。そのうえで、AIアシスタントが実際に自社に言及し引用しているかを測ってください。収益につながるのはその数字です。

ファイルの有無は配管です。引用は成果です。ツールはどちらにしても無料です。