LLMOツールの計測結果が違う理由｜AI・検索設定・地域をそろえるチェックリスト

数字の比較より先に、同じものを測っているか確認する

「ツールでは引用あり、手動では見つからない」という結果だけでは、どちらが誤っているか判断できません。まず、比較した質問と回答を一組ずつ取り出してください。質問文、実行日時、対象AI、検索の有無、国・地域、集計対象が同じかを確認します。

本記事は差の原因を調べるための編集部の手順です。特定ツールの正確性を実測して順位付けしたものではありません。

編集部作成の確認図。質問、実行条件、観測、集計の順に記録をそろえ、最後に元の回答と引用URLを照合します。

計測条件をそろえるチェックリスト

• 質問の全文：語尾、前提条件、ブランド名の有無まで一致しているか。

• 会話の範囲：単発の質問か、前の会話を含む質問か。手動確認では新しい会話を使用したか。

• 取得方法とAI：利用画面での確認かAPIか、どのAIやモデルを使用したか。非開示なら未確認と記録する。

• 検索の設定：検索を有効にしたか、実際に検索が実行されたか、参照先に制限があるか。

• 言語と地域：質問の言語、国・地域の設定が一致しているか。

• 観測の範囲：実行日時、対象期間、回数、失敗した計測の扱いが同じか。

• 指標の定義：ブランド言及か、公式ドメインの引用か。件数か割合か、累積か期間内か。

取得方法がAPIと利用画面に分かれる場合、同じ製品名の表示だけで同条件とは判断しません。提供会社へ使用する実行方法と設定を確認し、そろえられない条件は比較表に残しましょう。

検索と地域が異なると、比較の前提も変わる

OpenAIのAPI公式資料では、Web検索で地域を指定したり、対象ドメインを制限したりできることが説明されています。これはAPIの設定に関する仕様です。利用者向けChatGPT画面の条件や、すべてのLLMOツールの実装を表すものではありません。出典：OpenAI「Web search」（2026年9月20日確認）。

また、Otterly（オタリー）は質問に国を設定し、地域による回答の違いを確認する機能を案内しています。国内向けの比較なら、両方の計測がどの国を対象にしているかを確認します。出典：Otterlyの国設定ガイド（2026年9月20日確認）。

確認できない設定を推測で埋めず、「地域は確認済み、モデルの詳細は非開示」のように記録すると、次に問い合わせる項目が明確になります。

「言及率」と「引用数」を同じ数字として扱わない

ブランド名が本文に登場しても、公式サイトのURLが引用されるとは限りません。さらに、同じ回答に同じブランドが複数回登場した場合に、何件と数えるかも確認が必要です。

Otterlyのガイドでは、Brand Coverageをブランドに言及した回答の割合、Domain Citationsをドメインが出典として引用された回数として説明しています。別のツールへ切り替えるときも、画面の見出しだけでなく定義を照合しましょう。出典：Otterlyの指標説明（2026年9月20日確認）。

説明用の仮例として、対象の10回答中2回答で名前が出た集計と、対象の20回答中2回答で名前が出た集計では、言及した回答数が同じでも割合は20%と10%です。割合には分母を添え、質問群や対象期間の変更がなかったかも確認してください。

差が出た回答を、3段階で照合する

1. 元データを保存する：質問全文、回答本文、引用URL、実行日時、取得条件、ツールの計測IDを残す。画面にある最終更新日と実際の観測日時を区別する。

2. 同じ回答の判定を比べる：ブランドの別表記、同名の別会社、公式ドメインと第三者サイト、サブドメインの扱いを確認する。同じ元回答なのに判定が違えば、分類・集計規則を調べる。

3. そろえられる条件で追加確認する：質問と設定を固定し、実行回数と期間を先に決める。追加観測は別の回答であるため、元の結果を都合よく置き換えず履歴として残す。

問い合わせ時には「数字が違う」だけでなく、「同じ質問のこの回答で、公式ドメインのこのURLが集計に含まれるか」という形にすると、設定や判定の説明を受けやすくなります。

よくある質問

一度の手動確認でツールの誤りを証明できますか？

別の日時や条件で生成された回答の違いだけでは証明できません。一方、保存された同じ回答に対象名がないのに言及ありと判定されている場合は、別表記や集計範囲を確かめる具体的な材料になります。

どのツールを基準にすべきですか？

業務で確認したいAIと条件に合い、元の回答、引用URL、履歴、指標の定義を確認できるものを基準に選びます。表示される数字の大きさだけでは判断しません。

差をなくすために質問を変えてよいですか？

原因調査では、一度に多くの条件を変えないようにします。質問の変更が必要なら新しい質問IDを付け、変更前の観測と区別します。条件をそろえても、毎回同じ回答になることを保証する手順ではありません。

導入候補はAI可視性ツールの解説とツール比較から確認できます。デモでは、差が生じたときに回答まで戻って説明できるかを試してみてください。