製品名は正しくても、プランの内容が違う。50製品の料金・機能を検証

GitHub Teamに含まれるCI/CDの実行時間を尋ねると、2つのAPI設定はどちらも月2,000分と答えました。調査時に確認した公式ページは月3,000分。製品の取り違えではなく、購入判断に関わる具体的な数値の不一致です。

50製品の有料プランについて、料金と機能を1項目ずつ質問しました。100回答、計200項目のうち、公式情報と一致したのは153項目、不一致は18項目でした。根拠不足は22項目、未回答は7項目として、誤りとは分けています。

多くの回答は正確でした。一方で、製品が候補に挙がるかどうかだけを確認しても、そのプランがどう説明されているかは分かりません。

対象は、業務管理、開発、マーケティング、会計などのソフトウェア50製品です。無作為抽出ではなく、調査用に選んだ製品群です。公式の料金ページやドキュメントから、プラン名、米ドル価格、支払い周期、課金単位、機能または利用上限を記録しました。

Gemini 2.5 Flash LiteとGPT-4.1 miniに、同じ英語の質問を1製品につき1回ずつ送信しました。OpenRouter経由でParallel turboのウェブ検索を有効にし、検索結果は最大5件、temperatureは0.2、出力上限は1,600トークンに固定しています。会話履歴も正解の情報も渡していません。

検証したのはこの2つのAPI設定です。ChatGPTやGeminiの一般向けアプリの挙動とは同一ではありません。日本語版の記事も、同じ英語の実験結果を説明しています。

料金100項目のうち、判定可能だったのは78項目で、不一致は8項目でした。機能100項目では93項目が判定可能で、10項目が不一致でした。

少なくとも1項目で不一致があった回答は18/100件です。1つの回答には2つの検証項目があるため、「回答数」と「項目数」を混同しないようにしています。

これらは違いが分かりやすい例として選びました。全製品の回答と判定理由も公開しており、記事の例だけで全体像を判断する必要はありません。

公式サイトでも、地域、税、年払いと月払い、プロモーション、動的な表示によって価格を一意に確認できない場合があります。今回の「根拠不足」は、集めた公式情報だけでは回答の正誤を確定できないという意味です。AIの回答が誤っているという意味ではありません。

事前に固定した比較基準では、40製品の料金と49製品の機能を確認済みとしていました。回答収集後の再確認で、Dropboxの料金ページの抽出テキストから支払い周期を確定できないことが分かり、料金だけを判定対象から外しました。元の基準と質問は保存し、修正履歴を別ファイルで公開しています。

その結果、比較に使える公式基準は料金39製品、機能49製品です。基準があってもAIが答えを控えた項目は未回答になります。「古い情報」とするには、以前は正しかったことを示す日付付きの公式資料が必要です。今回は、その条件で旧情報と確定した項目はありません。

自社がAIの候補に入っているなら、次は説明の中身を見てください。プラン名、支払い周期、ユーザー単位かアカウント単位か、買い手が重視する利用上限。この4点をそろえると、「だいたい合っている」の中に隠れた違いを見つけやすくなります。

公式ページには、月払い価格と年契約の月額換算を明確に分け、利用上限を該当プランの近くに示すと、買い手が確認しやすくなります。ただし、この調査ではページ修正後の回答改善や売上への影響は測っていません。

この研究は、CitationWorksの製品による自動的な正誤検証の実証ではありません。監視する質問を選び、実際の回答を読み、公式情報と照合するための調査です。

調査日は2026年9月28日です。全100リクエストが完了し、プロバイダーが報告した合計費用は約0.16米ドルでした。これはAPIの収集費用であり、執筆やレビューの費用を含む総制作費ではありません。

公式情報の確認と判定はAI支援で行い、別のAIによる再確認を加えました。独立した人による二重判定ではありません。製品ごとに各設定1回答の小規模調査で、モデルの優劣、時間による変動、ソフトウェア市場全体の誤答率を結論づけるものではありません。