LLMOの効果測定とは？計測すべき指標とやり方を解説

LLMOの効果測定とは、AIの回答内で自社サイトやブランドがどのように引用・言及・評価されているかを継続的に確認することです。

SEOでは、検索結果にWebページが順位順で表示されるため、検索順位・流入数・コンバージョン数などを中心に成果を測定します。

一方、生成AIでは、ユーザーの質問に応じて回答内容が生成されるため、検索順位だけで成果を判断することはできません。同じ企業でも、質問の内容や条件によって、引用・言及・評価のされ方が変わります。

そのため、LLMOでは、ユーザーがAIに入力した質問や、Googleの検索結果に表示される「AIによる概要」の回答内で、次のような状態を確認する必要があります。

LLMOでは、これらの状態を数値や回答内容から把握し、効果測定を行うために、引用率・SOM・SOVといった指標を使用します。

LLMOで使われる主な指標は次の通りです。

それぞれ詳しく解説します。

引用率とは「〇〇とは」「〇〇の仕組み」「〇〇を導入するメリット」といった情報収集段階の質問に対して、自社サイトのページがAI回答の参照元として引用された割合を示す指標です。

計算式は次の通りです。

例えば、100個の質問を計測し、そのうち30個の回答で自社サイトのページが参照元として引用された場合、引用率は30％です。

引用率を計測することで、自社サイトの情報がAI回答を生成する際の根拠として、どの程度利用されているかを把握できます。

引用率が高まることで、自社の情報がAI回答を通じてユーザーの目に触れる機会が増え、認知拡大やAI経由のアクセス増加につながる可能性があります。

SOM（シェア・オブ・モデル）とは、設定した質問に対して、AI回答内で自社名やブランド名が言及された割合を示す指標です。
※ 日本では「言及率」と表現されることが一般的です。

SOMを計測することで、特定のテーマや条件に関する質問において、自社がどの程度AIから候補として認識されているかを把握できます。

計算式は次の通りです。

例えば、100個の質問を計測し、そのうち40個の回答で自社が言及された場合、SOMは40％です。

SOMが高いほど、多くの質問や条件において自社が回答候補に含まれていることになります。

LLMOの主な目的の一つは、自社の商品やサービスを探しているユーザーに対して、AI回答内で自社名やサービス名が候補として紹介される状態をつくることです。そのため、SOM はLLMOの成果を把握するうえで、最重要となることが多い指標の一つです。

SOV（Share of Voice）とは、AI回答内における自社と競合の言及数の合計に対して、自社の言及数が占める割合を示す指標です。

SOMが自社名やブランド名を言及した質問の割合を示すのに対し、SOVでは競合と比べて自社がどの程度の存在感を持っているかを把握することができます。

計算式は次の通りです。

例えば、自社と競合3社の言及数が次のような結果だったとします。

全社の言及数は合計200回となるため、自社のSOVは20％です。（40回 ÷ 200回 × 100＝20％）

SOVが高いほど、設定した質問群において、競合よりも自社が多く言及されていることを示します。そのため、シェア・オブ・ボイスはAI回答内における自社の相対的な露出状況や、競合とのシェアの差を把握する際に役立ちます。

平均掲載順位とは、設定した質問に対して、自社名やブランド名がAI回答内で何番目に紹介されたかを平均した指標です。

計算式は次の通りです。

例えば、3つの質問で自社がそれぞれ1位、2位、3位に掲載された場合、平均掲載順位は2位です。（1位＋2位＋3位）÷3＝2位

平均掲載順位を計測することで、自社がAI回答内でどの程度優先的に紹介されているかを把握できます。数値が小さいほど、回答内の上位で紹介されていることになります。

比較優位性とは、競合と比較された際に、自社が特定の条件や評価軸で優れている、またはユーザーに適しているとAIから説明された度合いを示す指標です。

例えば、「A社とB社はどちらが中小企業に向いているか」という質問に対して、AIが「料金や契約条件を踏まえるとA社が向いている」と回答した場合、A社に比較優位性があると判断できます。

比較優位性には統一された計算式がないため、あらかじめ評価する項目を設定し、回答内容をもとに以下のように数値化します。

例えば、料金・実績・専門性・サポート体制・機能に関する50項目を評価し、そのうち30項目で自社が競合より優位と説明された場合、比較優位性は60％です。

誤情報の発生数とは、AI回答内で、自社の料金・サービス内容・実績・契約条件などについて、事実と異なる情報が回答された件数を示す指標です。

例えば、自社に関する質問を計測した結果、料金、契約期間、対応範囲について誤った回答が確認された場合、誤情報の発生数は3件です。

誤情報を確認する際は、件数だけでなく、問い合わせや購入への影響度もあわせて評価します。

特に、料金・契約条件・対応エリア・サービス内容などの誤りは、ユーザーの判断や自社への信頼に影響する可能性があります。

AI経由の流入数とは、ChatGPTやGeminiなどの生成AIサービスから自社サイトへ直接訪れたセッション数を示す指標です。

GA4では、参照元を判別できるAI経由のセッション数を確認できます。確認手順は次のとおりです。

ただし、AI回答でブランドを知ったユーザーが、後からGoogleで指名検索したり、直接URLを入力したりして自社サイトを訪れた場合、その流入は自然検索やダイレクトとして計測されます。

また、GoogleのAIによる概要やAI Modeからの流入は「AI Assistants」ではなく、オーガニック検索に分類されます。そのため、GA4で確認できるAI経由の流入数は、AIがサイト訪問に与えた影響の一部に限られます。

ポジティブ・ネガティブ評価とは、AI回答内で自社がどのような印象や文脈で説明されているかを確認する指標です。

例えば、「自社の評判は？」という質問に対して、「サポートが丁寧」「実績が豊富」と説明されていればポジティブ、「料金が高い」「契約期間が長い」と説明されていればネガティブと判断します。

LLMOでは、すべての質問を同じ指標で評価することはできません。

質問の目的やユーザーの検討段階によって、AI回答内で目指す状態が異なるためです。まずは、質問ごとに目指す成果がどのように変わるのかを整理したうえで、カスタマージャーニーに沿った指標の考え方を解説します。

ユーザーがAIにする質問は、情報を知りたい場合、候補を探したい場合、複数の候補を比較したい場合など、目的によって異なります。

質問の目的が異なれば、AI回答内で企業が目指すべき状態も変わります。

例えば、「〇〇とは？」という質問では、自社サイトが参照元として引用されていれば、一定の成果が出ていると判断できます。一方「〇〇のおすすめは？」という質問では、自社サイトが引用されることよりも、自社名やサービス名が選択肢として紹介されることが重要です。

そのため、質問ごとに目指す成果を決め、それに合った指標を設定する必要があります。

AIへの質問は、ユーザーの検討段階によって変化します。

ユーザーは、最初から特定の企業やサービスについて質問するとは限りません。まずは商品やサービスについて情報を集め、次に候補を探し、複数の選択肢を比較したうえで、特定企業の料金や評判を確認するのが一般的です。

このような、ユーザーが商品やサービスを認知し、比較・検討を経て、問い合わせや購入に至るまでの流れをカスタマージャーニーといいます。

LLMOの指標も、カスタマージャーニーに沿って整理することで、各段階で何を成果として評価すべきかが分かりやすくなります。

LLMOの指標は、ユーザーの検討段階に応じて「認知」「比較」「選定」「指名」の4つに分けて整理できます。

このように、ユーザーの検討段階によってAI回答内で目指す状態が異なるため、すべての質問を同じ指標で評価することはできません。

次の項目では、それぞれの段階で見るべき指標について詳しく解説します。

認知段階とは、ユーザーが自身の課題や、その解決方法について知り始める段階です。

例えば、LLMOであれば以下のような質問が想定されます。

上記質問では、特定の会社を探しているわけではないため、自社名やサービス名が候補として紹介されにくい傾向があります。

一方、参照元として自社ページが引用されれば、ユーザーが社名やファビコン、ページタイトルを目にする機会が増え、自社の認知拡大につながります。さらに、引用元のリンクがクリックされることで、自社サイトへのアクセス増加も期待できます。

そのため、認知段階では、自社サイトがどの程度引用されているかを引用率で確認し、その引用が実際のサイト訪問につながったかをAI経由の流入数で評価します。

比較段階とは、ユーザーが自分の条件に合う商品やサービスの候補を探す段階です。

例えば、LLMOであれば以下のような質問が想定されます。

上記質問では、自社がAI回答内で候補として紹介されているかが重要です。そのため、設定した質問のうち自社が紹介された割合をSOMで確認します。

また、自社だけでなく競合も候補として紹介されるため、競合を含む言及全体における自社のシェアをSOVで確認します。

さらに、同じ回答内で何番目に紹介されたかによって、ユーザーの目に触れやすさも変わります。そのため、平均掲載順位を確認し、自社がどの程度優先的に紹介されているかを評価します。

比較段階では、SOM で候補に入っているか、SOVで競合より露出を獲得できているか、平均掲載順位で上位にいるかを確認しましょう。

選定段階とは、ユーザーが候補となる会社やサービスを比較し、自分に合う選択肢を絞り込む段階です。

例えば、LLMOであれば以下のような質問が想定されます。

上記質問では、競合と比較した際に、自社が明確な理由と共に、回答内でおすすめされていることが重要です。

比較優位性を確認することで、自社が選ばれやすい条件と、競合が優位と評価されている項目を把握し、強化すべき情報や施策を整理できます。

指名段階とは、ユーザーが特定の会社やサービスについて、問い合わせや購入の前に詳しい情報を確認する段階です。

例えば、LLMOであれば以下のような質問が想定されます。

上記質問では、料金・サービス内容・契約条件など、導入や購入に関係することが正確に説明されているかを確認することが重要です。

また、評判や注意点に関する回答では、自社がどのような印象や文脈で説明されているかも確認します。

そのため、事実と異なる情報がないかを誤情報の発生状況で確認し、問い合わせや購入の判断に影響する評価がないかをポジティブ／ネガティブ評価で把握します。

指名段階で誤情報やネガティブな評価が表示されると、問い合わせや購入を妨げる可能性があるため、優先的に確認・改善する必要があります。

生成AIの種類が異なると、同じ質問を入力しても、参照されるWebページや紹介される企業、評価の内容が変わる場合があります。

そのため、一つのサービスだけで成果を判断せず、生成AIごとに結果を分けて計測することが重要です。

LLMOの効果測定では、ユーザーの情報収集や商品・サービスの比較に利用されることが多い、Googleの「AIによる概要」、ChatGPT、Geminiを主な計測対象とします。

それぞれのAIで、自社サイトの引用状況、自社名・サービス名の言及状況、競合との比較結果、回答内容の正確性などを確認しましょう。

LLMOの効果測定では、計測する質問や競合、対象となる生成AIをあらかじめ決め、同じ条件で継続的に結果を確認します。

具体的には、以下の手順で進めます。

まずは、自社の商品やサービスを探すユーザーが、生成AIに入力すると想定される質問を設定します。

質問は、カスタマージャーニーに沿って「認知」「比較」「選定」「指名」の4つに分けると整理しやすくなります。

比較段階では、「おすすめのLLMO会社は？」のような広い質問だけでなく、「中小企業向け」「医療業界に強い」「費用が安い」など、ターゲット・条件・悩みを加えた質問も設定します。

ただし、質問を細かくしすぎると計測数が増え、管理や分析が難しくなります。実際にユーザーが入力する可能性があり、自社の問い合わせや購入につながりやすい質問を優先しましょう。

次に、比較対象となる競合企業と、効果測定を行う生成AIを決めます。

競合は、事業者側が競合と考えている企業だけでなく、実際のAI回答内で自社と一緒に紹介される企業も対象にしましょう。想定していなかった企業が、AI上では主要な競合として扱われている場合があるためです。

計測対象には、Googleの「AIによる概要」、ChatGPT、Geminiなどを設定します。同じ質問でも、生成AIによって参照元や紹介される企業が異なるため、それぞれの結果を分けて記録します。

最初から多くのサービスを対象にすると管理が複雑になるため、まずは主要な生成AIから始め、必要に応じてMicrosoft CopilotやPerplexityなどへ対象を広げてみましょう。

計測する質問・競合・生成AIを決めたら、同じ条件で定期的に回答を確認します。

生成AIの回答は、計測する時期や参照する情報の変化によって内容が変わることがあります。そのため、一度の結果だけで成果を判断するのではなく、毎日計測して推移を追うなど継続的に計測することが重要です。

計測条件が変わると前回との比較ができなくなるため、質問文・対象となる生成AI・競合の範囲・計測頻度は、できるだけ統一しましょう。

定期的に計測することで、施策前後や前月との変化を比較し、引用率やSOM、SOVなどが改善しているかを確認できます。

最後に、計測結果から課題を特定し、改善施策につなげます。

例えば、特定のテーマで引用率が低い場合は、その質問に回答するコンテンツが不足していないか、自社ページの内容が分かりやすく整理されているかを確認します。

SOMやSOVが低い場合は、自社の対象者・料金・実績・専門性・サポート体制など、候補として紹介するために必要な情報が十分に掲載されているかを見直します。

競合との比較で評価が低い場合は、競合が推薦されている理由を確認し、自社が優位な点や選ばれる理由を公式サイトや第三者媒体で明確にします。

LLMOの効果測定は、数値を記録することが目的ではありません。

計測結果から自社が引用・言及されない理由や、競合が選ばれている理由を分析し、Webサイトや外部評価の改善につなげることが重要です。

今回は、LLMOにおける効果測定の方法や、計測すべき主な指標について解説しました。

生成AIの機能やユーザーの利用方法は日々変化しています。今後、新しい生成AIサービスや計測機能が登場することで、重視すべき指標や効果測定の方法が変わる可能性もあります。

現時点の指標を固定的に使い続けるのではなく、生成AIの変化に合わせて計測対象や質問、評価方法を定期的に見直しながら、継続的に改善を進めましょう。