社内問い合わせAIが、規程と違う答えを返します｜AIが間違えたのではなく、規程が2つあった

社内の問い合わせ窓口に、AIを置きました。

就業規則、各種規程、よくある質問の一覧、過去の通達。手元にある資料は全部読ませてあります。

試験運用を始めて2週間。担当部署から報告が上がります。

「AIが、ときどき規程と違うことを答えます。精度を上げてください」

間違いの中身を、1件ずつ開く

違う答えが出た質問を、1件ずつ開いてみます。たとえば、こういう形です。

質問   ：慶弔休暇は何日取れますか
AIの答え：3日です（出典：よくある質問 No.42）
規程   ：5日（2年前に改定）

AIは、読ませた資料のとおりに答えています。よくある質問の一覧が、規程の改定に追いついていなかっただけです。

AIが間違えたのではありません。社内に、答えが2つあったのです。

人の窓口では、表に出なかった

同じ食い違いは、AIを入れる前からありました。

ただ、人が窓口に立っていたときは、担当者が頭の中で「このFAQは古い」と読み替えて答えていたはずです。食い違いは、その人の経験の中で吸収されていたのです。

AIには、その読み替えがありません。渡された資料を、渡されたとおりに扱います。

だから、AIを入れると、こういう順番で問題が出てきます。

AIの問題に見えて、実は資料の問題です。

精度を上げる前に、正本を決める

ここで「AIの設定を調整する」に進むと、遠回りになります。調整で直せるのは、目の前の1問だけだからです。

先にやるのは、質問の種類ごとに「どの資料が正しいか」を1つに決めることです。

1. 休暇・勤務 … 就業規則が正本。FAQは要約
2. 経費 …… 経費規程が正本。通達は改定の記録
3. 手続き …… 申請画面の説明が正本

正本が決まれば、食い違ったときにどちらを直すかが決まります。FAQを規程に合わせて直すか、AIに読ませるのを正本だけにするか、です。

食い違いは、一覧にして数える

試験運用で見つかった食い違いは、捨てずに一覧にします。

この一覧は、AI導入の副産物ではありません。何年も放置されていた社内資料の不整合が、初めて件数で見えたものです。

件数は、人の窓口が黙って吸収していた負担の大きさを測る目安になります。

次の報告会で、1つだけ

問い合わせAIの試験運用をしているなら、「間違えた答え」の報告の中から3件だけ選んでください。

そして、AIが示した出典を開いて、規程と見比べてください。

3件のうち1件でも、出典の資料そのものが古ければ、次にやるのはAIの調整ではありません。資料の正本を決める打ち合わせです。