AIが「わかりません」と答えるとき、悪いのはAIではない｜自社サービスで70問テストして分かったこと

社内にAIを入れた事業者さんから、よく相談されることがあります。

「導入したのに、肝心なことを聞くと『そのデータは持っていません』としか言わない」。

このとき、多くの方は「AIの性能が足りないのでは」「もっと高いAIにすべきか」と考えます。ですが現場で切り分けていくと、原因はたいていAIの賢さではありません。質問されたときに、AIへ渡している材料が足りていないのです。

この話は抽象論になりがちなので、自分たちのサービスで実際に測った記録をそのまま公開します。

自社で運営している「しらべAI」で測ってみた

当社は川崎市の公的データを地図にまとめた「かわさきしらべ」という無料サイトを運営しています。保育園579園の今月の空き、小・中学校166校の学区、区役所の待ち人数など、12のマップと1,000ページ超を公的データから自動生成しているサイトです。

ここには音声でも聞ける「しらべAI」を付けてあります。仕組みは単純で、質問を受けたら、その質問に関係するデータだけをサイトの中から切り出してAIに渡し、その範囲だけで答えさせるというものです。AI自身が検索するわけでも、覚えているわけでもありません。

ある日、自分で試しに聞いてみました。

質問：川崎市で今月、0〜2歳の保育園の空きが多い区はどこですか？
回答：申し訳ありません。区ごとの空き状況をまとめたデータは、まだ持っていません。

サイトには579園すべての空き数があり、区ごとに集計したページまで公開しています。それなのに「持っていません」と答えました。

AIが嘘をついたわけではありません。そのとき渡していた材料の中に、区ごとの集計が入っていなかった。ただそれだけでした。

「思いつきで直す」のをやめて、テストを作った

こういうとき、つい目の前の1問だけを直して終わりにしがちです。ですがそれを繰り返すと、直したつもりが別のところを壊していたり、そもそも何割が答えられているのか分からないまま時間が過ぎていきます。

そこで先に、合否を機械的に判定できるテストを作りました。

質問の材料には、Search Consoleに記録されていた実際の検索語を使いました。自分で想像した質問ではなく、現実に打たれた言葉です。「東小田保育園」「麻生区役所 混雑状況」「平間 マンション 相場」「自然災害伝承碑 神奈川」といった語を疑問文に直し、70問にまとめました。

判定はこの2点だけです。

1. 正しい分野（マップ）に振り分けられたか
2. 具体的に答えられたか（「データがありません」で逃げていないか）

コマンド1つで70問を流し、落ちたものだけが一覧で出ます。最初に流した結果は54/70。2割以上が答えられていませんでした。

落ちた16問の原因は、ほぼすべて「渡し方」だった

落ちた質問を1つずつ追いかけると、原因はAIの側にはありませんでした。

1. 名前の呼び方が、データと違っていた

「新丸子の保育園に空きは？」が答えられませんでした。理由は、住所の表記が「新丸子東三丁目」「新丸子町」で、「新丸子」という町名は存在しないから。人は駅名や通称で聞きますが、データは正式名称で持っています。住所の部分一致と、駅から1km以内という条件で拾えるようにして解決しました。

同じ理由で「平間のマンション相場」も落ちていました。町名は「上平間」「下平間」だったのです。

2. 集計していない形で聞かれた

冒頭の「空きが多い区はどこ？」がこれです。園ごとのデータは持っていても、区ごとに足し算した数字は誰も作っていなかった。質問を受けた時点で集計して渡すようにしました。

3. 似た名前に引っ張られていた

「ミントリーフ武蔵小杉の空きはある？」と聞くと、不動産相場の話が返ってきました。文字の重なりで判定していたため、園名より「武蔵小杉」の4文字が勝ってしまったのです。園名・学校名が質問に含まれているときは、そちらを優先するようにしました。

4. プログラムの書き間違い（これが一番大きかった）

調べていて、いちばん影響が大きい原因が見つかりました。処理の順番を1か所間違えていて、ある条件に当たるとエラーになり、用意していた材料がまるごとAIに届かない状態になっていました。

この状態でも、AIは何も言いません。届いた分だけで、丁寧な言葉で「データがありません」と答えます。不具合が「丁寧な回答」の形で隠れていたわけです。テストがなければ、おそらく当分気づけませんでした。

直した結果と、直さなかったもの

これらを順に直し、最終的に69/70になりました。

残った1問は、「溝口のこども文化センターは何時まで？」です。この施設の正式名称は「高津こども文化センター」で、住所が溝口にあります。データは渡せているのにAIが答えない状態で、原因を特定できていません。

これは直っていない課題として記録に残し、次に持ち越しました。全部を今日直す必要はありませんが、「何が直っていないか」が分からなくなる状態は避けるべきだからです。

ここから持ち帰れること

社内のAIが期待どおり答えないとき、確かめる順番はこうなります。

1. そもそも材料が届いているか。AIの設定を変える前に、渡している中身を見る。ここで解決することがいちばん多い
2. 呼び方のズレがないか。人は通称・駅名・略称で聞き、データは正式名称で持っている
3. その形で集計されているか。個別の数字はあっても、聞かれた単位で足し算されていないことがある
4. 合否を判定できるテストがあるか。実際に使われている言葉を20〜30問集めるだけでも、直った・壊れたが見えるようになる

特に4つ目は、規模の大小に関係なく効きます。今回のように、テストがなければ見つからなかった不具合もあります。

「入れて終わり」にしないために

AIの導入がうまくいかない理由は、ツール選びよりも、入れたあとに測って直す工程がないことにあります。そして、この工程は特別な技術がなくても始められます。実際にどう聞かれているかを集め、答えられなかったものを並べ、原因を材料・呼び方・集計のどれかに分ける。それだけです。

当社は、AIの使い方を説明するだけの立場ではありません。自社で公開しているサービスで、同じように測って直す作業を続けています。今回の記録も、その途中経過をそのまま出したものです。

業務改善のご支援は削減時間×3,000円（上限は月50,000円・成果報酬が発生するのは初月のみ）の成果報酬型で、成果が出なければ費用は発生しません。初回相談は無料、川崎市内への訪問にも対応しています。

今回題材にしたサービスは、どなたでも無料でお使いいただけます。→ しらべAI（かわさきしらべ）

← ブログ一覧に戻る