AIが間違えたらどうするんですか｜精度を上げる前に、間違いのコストを数える

社内でAIの話をすると、必ず出る質問があります。

「AIが間違えたら、どうするんですか」

この質問に「精度は9割です」と答えると、次はこう返ってきます。

「じゃあ10回に1回は間違うんですね」

ここで検討が止まります。止まっているのは精度の議論ではありません。

「間違えたらどうする」は、答えが1つではない

同じ「間違い」でも、起きることがまったく違います。

上2つは、間違いが読み手の目の前にあります。下2つは、間違いが下流に流れていきます。

同じ9割でも、扱いが変わります。上の2つは9割で十分使えます。下の2つは、9割では絶対に使えません。精度を1つの数字で議論すると、この差が消えます。

見るのは2つだけ

判定に必要なのは、精度ではなく次の2つです。

1. 間違いに、人が気づくか      （出力を人が必ず見るか）
2. 気づかないまま流れたとき、戻せるか

この2つで4つに分かれます。

「人が必ず見る × 戻せる」から始めます。ここは9割で回ります。間違えても、見た人が直して終わりです。

⚠️ 逆側の「人が見ない × 戻せない」は、精度が99%でも入れません。100件に1件、誰も気づかないまま社外に出ます。ここは精度で解決する問題ではなく、人が見る工程を挟むかどうかの設計の問題です。

「人が必ず見る」を、確かめずに前提にしない

いちばん危ないのは、「最後に人がチェックします」と設計に書いてあるのに、実際は見ていない状態です。

AIの出力がそれらしく整っているほど、チェックは形だけになります。手書きの下書きなら読み直しますが、整った文章は「できている」ように見えます。

見分け方は簡単です。

直近の20件で、人が修正した件数を数える。

修正0件なら、チェックは機能していません。AIが完璧だからではなく、見ていないから0件です。9割の精度なら、20件のうち2件前後は直っているはずです。

⚠️ ここで「じゃあチェックを厳しくします」と決めると、元の作業時間に戻ります。そうではなく、そもそも人が見なくていい用途に移すか、間違いが下流に流れない形に変えるのが先です。

責任の所在は、AIを入れる前と変わらない

「AIが間違えたときの責任は誰か」も、よく止まる論点です。

結論から言うと、変わりません。その業務の責任者が、これまでどおり負います。AIは、部下や外注先と同じ位置にあります。部下が作った資料が間違っていたとき、責任は部下ではなく、承認した人にあります。

新しいルールが要るのではなく、既にあるルールのどこに当てはまるかを確かめるだけです。

• その業務は、いま誰が最終確認していますか
• その人は、AIの出力を確認する立場のままですか

この2つに答えられれば、責任の話は終わります。答えられないなら、それはAIの問題ではなく、もともと責任者が決まっていなかったということです。

金曜に、1つだけ

いま「AIで自動化したい」と挙がっている業務を1つ選んで、2つだけ答えてください。

「間違ったまま進んだとき、誰かが気づきますか」
「気づかずに流れたら、戻せますか」

両方に「はい」と言えるなら、9割の精度で今日から始められます。どちらかが「いいえ」なら、精度を上げる話ではなく、気づける工程を挟むか、戻せる範囲に用途を狭める方が先です。

「AIが間違えたらどうするんですか」への答えは、「間違っても大丈夫なところから使います」です。