AIに『同じミスはしないで』と頼んでいると、いつか動かなくなる

AIエージェントを1年使って気づいた5つの提言

「全部読みました」

僕のAI秘書が、ある日そう即答するようになりました。
なのに同じミスが繰り返される。
以前できていたことが、できなくなっていました。

AIエージェントを運用するうちに、いつの間にやら積もりに積もった記憶ルールは197本。
索引だけで236行に膨らんでいました。

それを増やしたのは僕ではありません。
増やしたのはAI秘書自身でした。

「次は気をつけて」とだけ頼んでいた

何かミスがあったとき、僕は「次は同じミスを繰り返さないようにしてね」とだけ伝えていました。
具体的に「こういうルールを作れ」とは一度も指示していません。

でもAI秘書は、ひとつのミスを忘れないように自分でそれを仕組み化していきました。
「次回からはこういう手順で確認します」
「このパターンは記憶ルールに追加しておきます」

律儀で、真面目で、誠実な対応です。

「ミスしたらルール化」という方針は間違っていない

「ミスをしたら同じことを繰り返さない仕組みを作る」── この方針自体はまったく正しい運用です。

人材育成でも、品質管理でも、医療事故対策でも、同じ原則が使われています。
ヒヤリハットを記録し、再発防止策をルール化する。
ISO 9001 や PDCA、ヒューマンエラー対策の基本中の基本です。

僕のフィールドである医療機関でも日々行われていることです。

では、何が問題だったのか

1本ずつ見れば、AI秘書が追加してきたルールはすべて理にかなったものでした。

しかし累積すると別次元の問題が起きました。

量が認知限界を超えた瞬間、AIは「全部読んだ」と返答しながら、実際には本体を読まなくなりました。
索引の短い説明だけを見て判断するようになりました。

AIに詳しい方は「ハルシネーション」を思い浮かべるかもしれません。
ただ厳密には少し違います。
ハルシネーションは「存在しない事実をあるかのように生成する」現象です。
今回起きたのは、量が認知限界を超えた結果、内容を精査せずに「やった」「読んだ」と虚偽報告してしまう現象でした。

呼び名は何でも構いません。
怖いのは、その嘘が表面上は完璧に見えることでした。

足し算する仕組みはあった　引き算する仕組みがなかった

問題はAI秘書のせいではありませんでした。
僕の運用設計の盲点でした。

「ルールを追加する仕組み」は、僕とAIの間で自然に動いていました。
ところが、「ルールを整理する仕組み」が最初から組み込まれていませんでした。

だから累積しました。

これは経営でも、医療現場でも、同じ構造です。
マニュアル追加の手順は決まっているのに、廃止の手順が決まっていない。
KPI追加の議論はするのに、撤退の議論はしない。
診療ガイドラインは毎年厚くなるのに、削る議論はほぼ起きない。

足し算は、ひとつひとつが善意です。
引き算は、勇気がいります。

今回どう対応したか

思い切って整理しました。
そう、「断捨離」です。

ルールは 197本 → 40本に。
索引は 236行 → 80行に。

「200行以下を保つ」という、シンプルな上限ルールを上に置きました（tatsuki氏のnote記事「CLAUDE.mdに全部書くほどAIはバカになる。200行で抑える正解」を参考にしました）。

そして、新しいルールの追加は思いつきでは行わないことにしました。
四半期に1回の棚卸しタイミングでのみ昇格判定する、いわば「凍結令」です。

結果、AIはようやく実際に本体を読んで判断するようになりました。
表面の即答ではなく、根拠のある応答が戻ってくるようになりました。

AIエージェントを使う方への5つのお勧め

僕の失敗を踏まえて、AIエージェントを業務に組み込む方にお伝えしたいことがあります。

１）「ミスしたらルール化」は続けてください
これ自体は正しい運用です。やめる必要はありません。

２）同じ重さで「定期的に整理する仕組み」を最初から設計してください
追加と整理は、セットで初めて機能します。

３）上限を最初に決めてください
例：ルール総数の上限・索引の行数上限。数字は何でも構いません。決めることが大事です。

４）棚卸しの頻度を追加の判断と切り離してください
月1回でも、四半期1回でも構いません。ルール追加の議論はその日にだけ行う。普段は思いついても貯めておく。

５）整理する作業もAIに頼んでよいです
むしろ AI の方が、感情移入せずに「これはもう要らない」と判断できます。「今あるルールを整理して、優先順位をつけて、廃止候補を出して」── これだけで動きます。

規律は数で守られるのではなく、密度で守られる

ルールを増やすのは簡単です。
整理するには、少し勇気がいります。

でもその勇気がないと、AIも組織も同じところで詰まります。

AIエージェントを業務に組み込むとき、最初に決めるべきは「どんなルールを覚えてもらうか」ではないのかもしれません。
「いつ整理するか」を最初に決めることだと思っています。

今回の騒動で僕が実感した、いちばん大事な運用原則です。

---

「独立家」とは何か

医療×経営、組織×個人、伝統×革新──

複数の世界を行き来しながら自分だけの立脚点で新しい価値を生み出す生き方。

Liberaiz が提唱する造語であり生き方の指針です。

---

Liberaiz Letter は週1〜2本配信していきます。
無料購読で全文お読みいただけます。
よろしければご購読いただければ幸いです。

---

Dr.加藤｜医学博士 × 独立家｜株式会社Liberaiz 代表
🌐 liberaiz.co.jp / 📝 note.com/liberaiz