AIの答えが毎回違うので、業務に使えないと言われました｜揃えるのは文面ではなく、判断の基準

「同じことを2回聞いたら、違う答えが返ってきました。これでは業務に使えません」

AIを試した現場から、よく出る声です。お客様への回答文、社内の問い合わせへの返事、申請の可否の判断。毎回違うものが出てくるなら、怖くて任せられない。もっともな感覚です。

ただ、2つの答えを並べて読むと、違っているのが言い回しだけのことがよくあります。逆に、判断そのものが割れているなら、原因はAIより手前にあることが多いです。

違いは2種類ある

2つの答えを横に並べて、違っている箇所に印を付けます。印は2種類に分かれます。

・言い回しの違い … 敬語の度合い、順番、例の出し方、文の長さ
・判断の違い     … 可か不可か、金額、期限、案内する窓口

言い回しの違いは、人が書いても起きます。同じ問い合わせに、担当者3人がまったく同じ文面で返すことは少ないはずです。それでも業務が回っているのは、判断が揃っているからです。

まず困るのは、判断の違いです。「使えない」と感じたときは、どちらの違いなのかを確かめます。判断が合っていて言い回しだけが違うなら、使えない理由にはなりにくいです。お客様に出す文面のトーンは、これまでどおり人が最後に読んで整えます。

判断が割れるとき、AIに渡しているもの

判断まで割れているときは、AIに何を渡しているかを見ます。多いのは次の形です。

どれも、判断の基準が書かれていないという点で同じです。基準が無いところでは、AIはもっともらしい答えを毎回作り直します。毎回作り直すので、毎回少しずつ違います。

これは人に頼むときも同じです。新しく来た担当者に「いい感じに返しておいて」と言えば、日によって返事は変わります。ベテランの答えが揃っていることが多いのは、基準を頭の中に持っているからです。

渡すのは、判断の表

基準は、文章より表にすると渡しやすくなります。たとえば、経費の事前申請の問い合わせなら、次のような形です。

この表の金額や窓口は説明のための例です。自分の職場の規程に合わせて入れ替えてください。

大事なのは最後の行です。表に当たらないときは、判断せずに人へ回すと書いておきます。この行が無いと、AIは表の外でも答えを作ろうとします。判断が割れるのは、たいていこの「表の外」です。

揃ったかどうかを確かめる

表を渡したら、同じ問い合わせを5回聞いて、判断の列だけを見ます。

問い合わせ: 来週の大阪出張、新幹線と宿で合計4万円です。申請は要りますか

1回目  不要（事後精算）
2回目  不要（事後精算）
3回目  要る（出張のため）    ← 割れた
4回目  不要（事後精算）
5回目  不要（事後精算）

5回とも同じ判断なら、この問い合わせについては揃ったとみなします。

割れた回があれば、まず表のあいまいな行を探します。この例なら、原因の候補は1行目の「出張以外」です。国内出張の扱いが書かれていません。国内出張の行を1つ足して、もう一度5回聞きます。それでも割れるなら、表以外の渡し方も見直します。

直すのはAIへの言い方ではなく、表のほうです。言い方を工夫して揃えても、表に穴が残っていれば、別の問い合わせでまた割れます。

表を作ると、人の側の割れも見える

表を作り始めると、別のことが分かります。担当者によって、同じ問い合わせへの判断が違っていた、ということです。

「この場合はどうしていましたか」と3人に聞くと、答えが2つに分かれることがあります。そういう行が、表の中に出てくることがあります。これまでは、問い合わせた人が「前はこう言われた」と言わない限り、表に出なかった違いです。

AIの答えが割れたことがきっかけで、業務の基準の穴が見つかる。これは導入の失敗ではなく、導入して早い段階で得られることがある成果です。

今日、1つだけやる

「AIの答えが違った」という例を、1つ手元に用意してください。

2つの答えを並べて、判断が違っている箇所だけに印を付けます。

印が付かなければ、違いは言い回しです。文面は人が最後に読んで整える前提で、業務に使うかどうかは判断が合っているかで考えられます。

印が付いたら、その判断に使う基準を表の1行にして書きます。

条件      1回5万円以上
判断      事前申請が必要
案内する先  部長の承認後、経理へ

中身は、自分の業務のものに入れ替えてください。1行書けたら、「どれにも当たらないときは人へ回す」の行を最後に足して、AIに渡します。