同じ購入質問を30回。1週間後もAIは同じブランドを推薦するか？

プロジェクト管理ツールの質問では、Teamwork.comは初回の28/30回答から、1週間後には2/30回答へ。Hiveは0/30から28/30へ増えました。買い手の条件も、質問文も、指定したモデルと検索設定も同じです。

9月21日の90回答に続き、9月28日に同じ3つの質問を各30回送信しました。合計180回答です。Gemini 2.5 Flash、Exa検索、temperature 0.2、出力上限1,500トークンを維持し、毎回新しいリクエストとして実行しました。

初回と追加調査の回答をまたいで比べると、平均一致度はCRMが64.2%、メールマーケティングが62.6%、プロジェクト管理が24.5%でした。値は共通するブランド数を、両方の回答に含まれるブランドの合計種類数で割ったものです。推薦順位や品質の評価ではありません。

CRMではInsightlyが5/30から23/30へ増え、Copper CRMは24/30から8/30へ減りました。メールマーケティングではMailchimpが17/30から8/30へ。プロジェクト管理ではmonday.comが2/30から27/30へ増え、Wrikeは25/30から0/30になりました。これは今回の質問に対する観測で、製品の良し悪しや市場シェアを意味しません。

追加調査の同日内の一致度は、CRMが66.4%、メールが64.9%、プロジェクト管理が62.9%でした。同じ日に似た回答が続いても、翌週にも同じ名前が並ぶとは限らないことが、プロジェクト管理の質問ではよく分かります。

原因は特定できません。検索結果、モデルの振る舞い、ウェブの内容、サンプリングなどの変化を切り分ける実験ではありません。2回の調査で長期的な傾向を証明したり、監視頻度の正解を決めたりはできません。

追加調査では93回送信し、完了した90回答を分析しました。2件のタイムアウトと、出力上限で途切れた1件を除外しています。復旧時にはタイムアウトを45秒から90秒へ延長し、取得できなかった回答は新しいリクエストで補いました。初回は日本時間9月21日、追加は9月28日です。正確なUTC時刻は公開データに記録しています。

URLメタデータも保存し、ブランドの一致度とは別に集計しています。リンクが付いていることは、そのページが推薦の原因であることや、回答を裏付けることの証明ではありません。名前の確認はAI支援によるもので、人の独立した二重判定ではありません。

この追加調査の既知のAPI費用は約0.92米ドルです。初回・試行分を含む既知費用は約1.87米ドル。不明な2件について計1米ドルを留保しても、研究全体の5米ドル枠内です。

以下の本文と図表は初回90回答の記録です。同日内のばらつきを示すものとして残し、追加調査と区別しています。

今回のCRMに関する30回答では、Pipedriveが30回、GoHighLevelが1回、推薦候補に入りました。どちらも、ある1枚のスクリーンショットには載り得ます。しかし、その1枚だけでは、どのくらいの頻度で選ばれたのかはわかりません。

OpenRouter API経由のGemini 2.5 Flashに、ソフトウェアの選定に関する質問を3つ用意しました。Exaによるウェブ検索を有効にし、それぞれ5つの候補を挙げてもらいます。文面と設定を変えず、毎回新しいリクエストとして、各質問を30回ずつ送りました。

CRMの30回答に登場したブランドの組み合わせは8通り。メール配信は10通り、案件管理は8通りでした。ここでは順序を無視しています。同じ5ブランドの並び順だけが変わっても、別の組み合わせには数えていません。

初回調査は同じ日に実施したAPIの実験です。一般向けGeminiアプリやChatGPTは測定していません。9月28日の追補で、別の日の観測を追加しました。日本語版の記事も、英語で行った同じ実験の結果を紹介しています。

小規模事業者がソフトウェアを選ぶ場面を3つ設定しました。いずれも米国の事業者を想定し、従業員数または登録者数を指定しています。質問にブランド名は入れていません。実際の検索クエリから無作為に抽出したものではなく、この調査のために作った質問です。

1. 米国の従業員10人のコンサルティング会社には、どのCRMツールを勧めますか。候補を5つ挙げ、それぞれの理由を簡潔に説明してください。
2. 米国の登録者5,000人のオンライン小売事業者には、どのメールマーケティングサービスを勧めますか。候補を5つ挙げ、それぞれの理由を簡潔に説明してください。
3. 米国の従業員15人のデザイン会社には、どのプロジェクト管理ツールを勧めますか。候補を5つ挙げ、それぞれの理由を簡潔に説明してください。

上記は日本語訳です。実際に送った英語の原文はデータページに掲載しています。3問を1回ずつ送る流れを30周繰り返しました。各リクエストにはその質問だけを入れ、前の回答は引き継いでいません。

30回という回数は、費用を抑えながら1回答より多くの観測を得るために選びました。どんなAI可視性調査でも、30回聞けば信頼できる数値になる、という意味ではありません。

棒グラフは、番号付きの推薦リストに入った回数です。説明文で触れられただけのブランドや、引用URLに含まれる名前、比較対象として挙げられた名前は数えていません。

PipedriveとZoho CRMはすべてのCRM回答に登場し、HubSpot CRMが候補から外れたのは1回だけでした。一方、HoneyBookとInsightlyは各5回、GoHighLevelは1回。同じ質問でも、繰り返し挙がる名前と、ときどき入る名前がありました。

メール配信ではKlaviyoとOmnisendが毎回2枠を占め、残り3枠の顔ぶれがより多く変わりました。MailerLiteは18回、Mailchimpは17回、Brevoは6回。いずれも登録者5,000人の同じ小売事業者を想定した回答です。

ClickUpはデザイン会社向けの全回答に登場しましたが、先頭に書かれたのは12回でした。30回答の先頭には、計6ブランドが登場しています。候補として定着していても、リスト内の位置まで一定とは限りません。

完全一致は厳しい判定です。5ブランドのうち1つだけが入れ替わっても、組み合わせは変わったことになります。顔ぶれが同じでも、並び順まで求めれば不一致になることがあります。この2つは別々に集計しました。

30回答から作れる回答ペアは、各質問435組です。順序を無視して全ブランドが一致したのは、CRMで162組（37.2%）、メール配信で83組（19.1%）、案件管理で85組（19.5%）でした。

並び順まで一致したペアは、それぞれ35組、70組、9組です。質問では順位付けを求めていないため、この順序を「おすすめ順位」とは呼びません。回答に書かれた順番を比べています。

一部の重なりを見るため、Jaccard一致度も計算しました。2回答に共通するブランド数を、両方に登場するブランドの総数（重複を除く）で割る指標です。5ブランドずつのリストで4つが共通なら、4÷6＝66.7%。顔ぶれが完全に同じなら100%です。

平均一致度はCRMが76.2%、メール配信が63.4%、案件管理が69.3%でした。完全一致の回数だけでは見えない、部分的な共通性を表しています。

推薦リストとは別に、OpenRouterの引用メタデータに含まれる情報源URLも比較しました。URL末尾のスラッシュとフラグメントを除いて集合を比較しています。同じドメインでも、別のページなら別URLとして扱いました。

情報源URLの平均一致度はCRMが77.0%、メール配信が70.8%、案件管理が84.9%でした。各質問の30回答すべてにメタデータがあり、ダウンロードできる回答ファイルにはURLも含めています。

これらはプロバイダーが返した情報源です。リンク先が回答内の製品説明をすべて裏付けていると確認したわけではありません。URLにブランド名が含まれているだけでは、推薦として数えていません。また、検索のキャッシュと毎回の検索による影響を分けることもできません。

購買場面ごとに、推薦された回数、有効な回答数、調査日、モデルの設定を並べたいと考えています。たとえばGoHighLevelなら、「AIがおすすめしている」よりも、「このCRMの質問への30回答中1回で候補に入った」のほうが、読み手が判断できます。

異なる購買場面は分けて扱います。小さなコンサル会社向けの質問ではよく選ばれても、小売事業者向けの質問ではそうとは限りません。平均値にまとめると、どの場面で改善を考えるべきかが見えにくくなります。

元の回答も残します。回数が変わったら、回答内容や引用元にどんな違いがあるかを確かめられます。ただし、ウェブサイトの修正が変化の原因だったかどうかは、今回の調査からは判断できません。

同じ質問を繰り返す調査には、すでに先行研究があります。最近のプレプリント「The Dice Roll Method」も、調査設計と結果の解釈を扱っています。今回の範囲は、明示した3つの質問を同じ設定で繰り返し、集計の根拠となる回答を公開するところまでです。

本調査は2026-09-21の05:55:25〜06:06:21（UTC）に実施しました。完了した90回答、各質問30回答を集計しています。事前にリクエスト形式を確認した3回答は、グラフや推薦頻度には含めていません。

OpenRouter経由でgoogle/gemini-2.5-flashを使用しました。temperatureは0.2、出力上限は1,500トークン、reasoningは無効です。システムプロンプトと会話履歴は付けていません。従来型のwebプラグインでExa検索を使い、検索結果は1リクエストにつき最大5件に設定しました。リクエストは順番に実行し、設定ファイルをデータとともに公開しています。

AIを補助に使って名前を抽出し、すべての番号付き推薦見出しを元の回答と照合しました。同じ製品の表記ゆれを統一し、登場順を保存しています。説明中で触れられただけの名前は除きました。判定ファイルには元の見出しも残しており、統一の仕方を確認できます。

OpenRouterが返した課金額は、本調査が0.9116米ドル、完了した事前確認3回が0.0304米ドルでした。これはAPI実験の費用で、調査準備や記事執筆に使った作業分は含みません。

米国の事業者を想定した、英語のソフトウェア選定質問3つに限る小規模な調査です。質問の言い換え、言語、モデル、temperatureは変えていません。検索結果やプロバイダーのキャッシュによって回答同士に依存関係が生じる可能性もあります。リクエストを分けたことは、統計的な独立性を保証しません。また、435ペアは同じ30回答を組み合わせたものです。

測ったのは候補に挙がった名前です。推薦の良し悪しや、製品説明の正確さは検証していません。初回調査では、モデルの出力の揺れと検索結果の変化を切り分けておらず、SEO施策の効果も検証していません。各ブランドが一般にどの程度推薦されるかを断定する数値には使えません。

自社ブランドを調べるなら、まず対象にしたい購買場面の質問を決めてください。CitationWorksではブランドへの言及と引用を追跡し、回数と一緒に回答を確認できます。