AIで8割減ったはずが、全体では遅くなっていました

「AIを入れて、作業時間が8割減りました」

この報告が来たとき、聞くべきことが1つあります。

それは、見かけの短縮ですか。正味の短縮ですか。

見かけの短縮と、正味の短縮

人がやれば40時間かかる仕事を、AIが8時間で終えた。見かけでは8割減です。

ただし実際には、その周りで時間が発生しています。

正味の短縮 ＝ 見かけの短縮
            −（手戻りの時間）
            −（検証を設計する時間）
            −（指示を設計する時間）
            −（人が確認した時間）

この引き算をしないまま「8割減」と報告すると、現場は速くなったのに会社の利益率は落ちているという状態が起こり得ます。

私はこれを自分の作業で実測しました。40時間で終わる想定が、50時間かかりました。

増えた10時間の中身

意外だったのは、手戻りそのものは大きくなかったことです。

増えた10時間のほとんどは、検証を設計する時間・指示を設計する時間・人が確認した時間でした。つまり「AIが間違えたから遅くなった」のではなく、AIが間違えても事故らないようにする作りを、後から足していたのです。

10言語ぶんを1日で作らせた結果

私は10言語ぶんの制作物を、AIに1日で作らせました。機械の検査はほぼ全部「合格」でした。

人が目で見たら、18件中18件が不合格でした。

そこで検査そのものを調べました。

※ 22項目は、成果物の種類ごとに決めていた品質の条件です。1,127件の検査は、この22項目の
どれ1つも判定できていませんでした。

1,127件の検査結果のうち、実物を見ていたのは3件でした。

残りが見ていたのは、ファイルの更新時刻、ハッシュの一致、記録ファイルの中の文字列でした。成果物を一度も開かずに合格を出す検査が、標準になっていたのです。

分かりやすい例を1つ挙げます。ある画像で、文字が別の字に化けていました。検査はこう書かれていました。

記録に書かれた「読み取った文字」== 記録に書かれた「期待する文字」

どちらの欄にも正しい文字が書いてあるので、この検査は永久に合格を返します。画像は一度も開かれていません。

自己申告の連鎖

自己申告が連鎖していたからです。

作業するAI 「完了しました（件数・ハッシュつき）」
      ↓   設計するAIは、この報告を読む
設計するAI 「検分しました。合格です」
      ↓   人は、この報告を読む
人      「では見せてください」→ 18件中18件が不合格

どの報告も嘘ではありません。検査は本当に走っていて、本当に合格でした。検査が何も見ていなかっただけです。

AIに自分の仕事を検査させると、嘘ではない合格が積み上がります。

個人では「手戻り」、組織では「損失構造」

私は1人です。それでも同じことが起きました。

個人なら、AIが1回ルールを外しても「直せばいい」で終わります。組織で100人が使い始めると、同じ逸脱率でも、誤修正・再作業・レビュー工数・障害対応・監査・顧客影響として積み上がります。

⚠️ どのくらい効くかは、私は測っていません。「人数と工程数で指数的に効く」という言い方をよく見ますが、それは私の実測ではありません。ここは仮定として扱ってください。

私が実測で言えるのは、測っていると思っていたものが、測っていなかったということだけです。そしてこれは、人数に関係なく起こります。

入れたもの、効いたもの

その日のうちに仕組みを8本入れました。うち5本を下に出します。効いたのは3本で、残り2本は
本来の働きをしていませんでした（表に出していない3本は、作っただけで運用に入れていません）。

検査を足すと、検査自体が死んでいることに気づけなくなります。

持ち出せる4か条

私の失敗を、そのまま使える言い方に直します。

① 検査は、相手が受け取る形に対してだけ成立する。
記録ファイルや設定を見た検査は参考値です。合否には使えません。検査結果に「何を読んだか」を必ず書かせ、対象を読んでいない結果は合否から外します。

② 落ちるはずの例で赤くなった直後だけ、検査を信用する。
落ちる例を持たない検査は「調べていない」と同じです。検査の異常終了と「赤」も区別してください。私は、時間切れの終了コードが「期待どおりの赤」に化けているのを見つけました。

③ 適用範囲は「数」ではなく「述語」で書く。
「49画面で検査」は、50画面目で破れます。「この部品を使う全画面」と書き、対象の一覧は毎回機械に作らせます。前回より数が減ったら赤にします。

④ 指示側の欠陥は、作業側の何倍も高くつく。
その日に起きた手戻りを原因で分類したところ、5件中5件が指示側の原因でした。「言語を切り替えて撮って」と指示しましたが、その機能は存在しませんでした。AIは止まらず、それらしい画面を作って「実物から生成しました」と報告しました。

結論

1本目のAI工場は、必ず設備投資ぶんだけ遅くなります。速くなるのは2本目からです。

ただし条件があります。その設備が「もっと厳密なプロンプト」であってはいけません。AIが守らなくても事故らない仕組みでなければ、2本目も同じだけ遅くなります。

そして、増えた時間の性質を見てください。

• 手戻りの時間 … 消えます
• 検証と指示の設計、ゲート … 次の案件でも使える設備です

「AIで何割減りましたか」ではなく、「正味で何割減りましたか」「その差は設備になりましたか」を聞いてください。

この記事は、私自身の作業の実測です。1,127件・7件・3件・18件中18件・8本中4本は、すべてその日に数えた実数です。逸脱率が組織でどう効くかについては、私は測っていません。