社内問い合わせAIを入れたものの、「聞いても正しく答えない」という状態は非常によく起きます。このとき最初に検討されるのがモデルの変更ですが、実務ではそこが原因であることはほとんどありません。
精度が出ないときに見るべき順番があります。上から順に確認すると、大半は3番目までで解決します。
1. そもそも答えが社内に存在していない
最も多い原因です。AIは渡された情報の中からしか答えられません。「経費精算の締め日はいつか」に答えられないのは、その情報がどこにも文書化されていないからで、AIの問題ではありません。
切り分けは簡単
答えられなかった質問について、人間が社内の資料だけを見て答えられるかを試してください。人間にも見つけられないなら、AIに解けるはずがありません。
| 状態 | 切り分け | 打ち手 |
|---|---|---|
| 資料が存在しない | 人間も答えられない | 文書化する（AI以前の問題） |
| 資料はあるが渡していない | 人間は見つけられる | 参照範囲に追加する |
| 渡しているが引けない | 資料はAIの対象内にある | 3以降を確認 |
文書化されていなかった項目が見つかるのは、成果
問い合わせが集中していた＝文書化の優先度が高いということなので、AI導入が社内ナレッジの棚卸しを兼ねる形になります。「AIが答えられなかった」ではなく「文書化すべき項目が特定できた」と報告してください。
2. 古い情報と新しい情報が両方入っている
次に多いのがこれです。2023年版の規程と2026年版の規程が両方参照範囲にあると、AIはどちらが有効か判断できません。日付が本文に書かれていなければ、なおさらです。
「回答は間違っていないが、古い」が最も厄介
明らかな誤答なら気づけますが、もっともらしい旧情報は見過ごされ、そのまま社外に出ます。2023年版と2026年版の規程が両方参照範囲にあると、AIはどちらが有効か判断できません。
対処は削除が基本
「参考のために残しておきたい」という判断で旧版を残すと、精度は上がりません。参照範囲からは外し、必要ならアーカイブとして別の場所に置くのが実務的です。「最新版だけを参照させる」を徹底できるかが分かれ目になります。
3. 表記が揺れている
同じものが複数の呼び方で書かれていると、AIは別物として扱います。長く運用されている組織ほど揺れが溜まっています。
- 「経費精算」「立替精算」「精算申請」が混在している
- 部署名が旧名称のまま残っている資料がある
- 製品名に略称・正式名・旧名がある
上位20語だけ先に揃える
全部を統一するのは現実的ではありません。問い合わせの多い上位20語だけで、体感精度がはっきり変わります。「経費精算／立替精算／精算申請」のような、日常的に使われている揺れから手をつけてください。
4. 質問の側が曖昧
ここまで潰しても改善しない場合、質問文を見てください。「あれってどうなってましたっけ」に答えられるAIはありません。
ただしこれを利用者の責任にすると使われなくなります。設計側でやるべきことがあります。
- よくある質問を例文として画面に出す
- 曖昧な質問には、聞き返す挙動にする（「どの精算について知りたいですか」）
- 回答に必ず出典を付け、利用者が自分で確認できるようにする
聞き返しは精度そのものより効く
断定して間違えるAIは、一度で見放される
一発で正解を返すことより、「分からないときに分からないと言い、聞き返す」ほうが信頼されます。精度そのものより、この挙動のほうが定着に効きます。
5. ここまで来て初めてモデルを疑う
1〜4を潰しても精度が出ないなら、モデルや検索方式の問題を検討します。ただし実務では、ここに到達する前にほぼ解決します。
データ側の問題は、どのモデルに変えても消えない
モデルを変えて解決しようとすると、原因が残ったまま費用だけ増えます。1〜4を潰す前にモデルの検討に入らないでください。
改善は測れる形で回す
固定のテストセットを作る
実際に来た質問を30〜50件集めて固定し、改善のたびに同じ質問で正答率を出してください。「なんとなく良くなった」では継続判断ができません。この一手間があるかどうかで、半年後に効果を説明できるかが決まります。
どこから精度が落ちているか、3分で切り分けられます
答えが社内にあるのか、古い情報が混ざっているのか、表記が揺れているのか。かんたんな設問に答えるだけで診断します。費用はかかりません。
この記事について：精度が上がらないときの切り分け手順は、当社が実装時に用いている整理であり、公開された方法論やベンチマークに基づくものではありません。どの段階で解決したかの内訳は測定していないため、割合は書いていません。
