NIXUMA

METHODOLOGY — MINI-CHECK

無料ミニチェックの測定方法

NIXUMAの無料ミニチェックは、お客様が実際に使いそうな質問文で複数のAIに繰り返したずね、対象のお店が①回答に名前で登場したか、②代わりにどのお店が登場したか、③お店について事実と異なる説明がなかったかを測るものです。結果は1回の回答ではなく、「何回中、何回登場したか」という割合で報告します。AIの回答は毎回変動するため、単発の結果を「スコア」として扱わないのが私たちの原則です。

WHAT WE MEASURE

測るもの:4つ

01 登場の有無(名前で挙がったか)「エリア+ジャンル」「エリア+シーン(記念日、接待、家族連れなど)」といった、お客様がAIに店探しを相談するときの聞き方で質問し、対象のお店が店名で回答に含まれたかを数えます。観光客を想定した英語の質問と、地元のお客様を想定した日本語の質問の両方を使います。
02 代わりに登場したお店対象のお店が出なかったとき、AIが代わりにどのお店を薦めたかを記録します。「誰に負けているか」が分からなければ、直す場所も分かりません。
03 事実と異なる説明(誤情報)AIの回答に含まれる営業時間、定休日、場所、価格帯、ジャンルなどの説明が、お店の公式情報と食い違っていないかを確認します。誤情報は、来店の機会損失に直結します。
04 回答が参照した情報の傾向AIの回答が、公式サイト、Googleの店舗情報、口コミサイトなど、どの種類の公開情報を土台にしているかの傾向を見ます。情報の出どころが偏っている場合、その偏り自体が改善の手がかりになります。

PRINCIPLES

測り方の原則:5つ

01 複数のAIで測るお客様が使うAIは1つではありません。1つのAIでの結果だけを「AIでの見え方」とは言いません。
02 繰り返して、割合で報告するAIの回答は質問のたびに変わります。同じ質問を複数回実行し、「10回中3回登場」のように分母とともに報告します。1回の結果から算出した単独のスコアは出しません。
03 お客様の言葉で聞く質問文は、実際のお客様の聞き方を再現します。お店の名前を含む質問(「○○はおすすめ?」)では測りません。名前を知らないお客様がどう聞くかが基準です。
04 生の回答を残す測定に使った質問文と、AIの回答そのものを記録し、レポートと一緒に確認できるようにします。要約だけでは検証できないからです。
05 保証はしないこの測定は「現状の見え方」を測るもので、将来の表示を約束するものではありません。測定方法を公開するのは、結果の良し悪しではなく、測り方の正直さで判断してほしいからです。

LIMITS

この測定の限界

AIの回答は、同じ質問でも日によって変わります。また、測定に使うプログラム経由の回答と、お客様がアプリで見る回答が完全に一致するとは限りません。だから私たちは、1時点の結果を絶対視せず、同じ方法で繰り返し測って変化を見ることを前提にしています。ミニチェックは現状把握のための簡易測定であり、詳細診断では質問数・AIの種類・繰り返し回数を広げて精度を上げます。

この方法は、まだ確定版ではありません

正直にお伝えします。測定項目の最終的な確定は、現在進めているNIXUMA自身を対象にした最初のチェックの結果をもとに行います。その結果は、良くも悪くも、このサイトでそのまま公開します。項目や集計の仕方に変更があれば、このページを更新し、変更点を分かるように残します。

確定していない数値(重み付けの割合など)を先に公表して「科学的」に見せることはしません。公開できるのは、いま書いた原則と測定項目までです。

サービス全体のご案内は飲食店向けAI可視性のページをご覧ください。ご質問は support@nixuma.com までどうぞ。