llms.txt チェッカー

あなたのサイトは本当に llms.txt を配信していますか

私たちは S&P 500 の全 500 社を調べました。/llms.txt で 200 を返しながら、実際にはマーケティングページやリダイレクト、あるいは空を返すサイトが少なくありません。ここでは実際に何があるかを確認します。

これは公開状態のチェックです。1つのパスでサーバーが何を返すかを示します。AIアシスタントがそのファイルを読むことを示すものではなく、検索順位について何かを示すものでもありません。

方法

チェックの手順

この順に5段階です。どの段階も、実在するサイトが単純な判定をすり抜けたために存在します。

パスを取得する
https://ドメイン/llms.txt をリクエストし、リダイレクトを追い、最大1メガバイトまで読み、15秒で打ち切ります。
HTML を除外する
コンテンツタイプを確認し、本文の先頭も確認します。ウェブページをプレーンテキストとして返すサーバーもあります。ページはファイルではありません。
到達先を見る
最終パスとリクエストしたパスを比較します。http から https への移動でも /llms.txt に着地していれば問題ありません。トップページへの移動はファイルではありません。
存在しえないパスを要求する
同じドメインのランダムなパスをリクエストします。同じ本文が返るなら、そのサーバーは何にでも 200 を返しており、ファイルは幻です。
不明は不明のままにする
403、タイムアウト、サーバーエラーは「確認不可」として報告します。これらを「不在」と呼ぶことは、測れなかったことをあなたへの判定にすり替える行為です。

結果の読み方

「有効か無効か」は分類として適切ではありません。代わりに次のように報告します。

タイトルとリンクあり: Markdown の H1 と1つ以上の Markdown リンクを含む実体のあるテキストファイルです。S&P 500 の 500 社中、この水準に達したのは 54 社だけでした。
検出（タイトルのみ）: H1 はあるが Markdown リンクがない実体のあるテキストファイルです。提案上は許容されます。ただし読み手のために何も整理していません。
標準外: Markdown の H1 がないテキスト応答です。ファイルは存在しますが、形式が提案と一致していません。
ファイルなし: サーバーは応答しましたが、返ってきたのはリダイレクト、HTMLページ、汎用のフォールバック、空の本文、あるいは正直な 404 でした。これが圧倒的に多い結果です。
確認できませんでした: 403、タイムアウト、ネットワーク障害、サーバーエラーのいずれかです。ファイルは存在するかもしれません。手前でボット対策が効いていること自体が1つの発見です。

llms.txt の提案で必須とされているのは H1 だけです。リンクのセクションは任意です。つまりリンクのないファイルは、私たちの基準では標準外ですが、仕様上は無効ではありません。

調査

ツールにする前に、この方法で S&P 500 全社を調べました。

お問い合わせ

AIでの見え方について、なんでもご相談ください。チーム向けのウォークスルーもご案内します。