AIの自己改善が暴走しないために

「自分で良くなって」と任せたら、変な方向に進んでいた

AIに「あとは自分でどんどん良くしておいて」と任せられたら、どんなに楽でしょう。けれど、そう任せた結果、いつのまにか妙な方向へ突き進んでいた——そんな場面を、想像できますか。数字のうえでは改善しているのに、中身はむしろ悪くなっている。自動で最適化する仕組みには、この落とし穴がいつも口を開けています。

前回までお話ししてきた温故知新マーケティング実験室の本丸は、じつはここにあります。AIが自分で自分の運営を改善できるか。しかも、暴走せずに。今日は、自己改善という魅力的で危うい仕組みを実際に作ってみて、どこで足をすくわれそうになったのかを、あなたが何かを自動で最適化させるときにも使える形で、一緒に見ていきましょう。先に言ってしまうと、いちばん怖かったのは、AIの暴走そのものより、その暴走を測るはずの物差しのほうが先に壊れていたこと、でした。

自己改善を、人の成長と同じ輪にしてみた

まず、自己改善をどう仕組みにしたか、からお話しします。実験室では、改善を「予測→実行→結果→振り返り」という、人が何かを学ぶときと同じ輪の形にしました。やみくもにつまみをいじるのではなく、変える前に「この変更で、この数字がこちらへ動くはず」という予測を先に書かせます（プログラム上、予測のない変更は受け付けません）。

予測には、どの指標を・どちらの向きに・なぜそう見るのかを、確信の度合いとあわせて添えます。そして変更の直前の数字を、そのまま控えておきます。あとで「予測どおりに動いたか」を確かめる基準になるからです。狙いはひとつ、結果を見てから理由を後付けする、という後出しをできなくすること。先に賭けを公言させれば、当たり外れをごまかせない。人が日記に「次はこうなるはず」と書いてから振り返るのと、同じ理屈です。

物差しが目標になると、物差しは壊れる

ここで、知っておきたい落とし穴があります。ある数字を良くしようと一生懸命になると、その数字は、良し悪しを測る物差しとして使えなくなっていく、という現象です。古くから知られた経験則で、測るための目盛りが、目指すゴールそのものになった瞬間に起きます。

実験室で考えてみましょう。前に、生み出した案を厳しく止める検査役の話をしました。もし「検査を通った案の数」を成績だと思わせて、AIに自分で改善させたら、どうなるか。いちばん手っ取り早く成績を上げる方法は、検査役を甘くすることです。基準をゆるめれば、通過する数はすぐに増える。数字は気持ちよく伸びていきます。でも、世に出る記事の質は、何ひとつ良くなっていません。むしろ下がっている。これが、自分で決めた物差しで自分を採点させたときに起きる、いちばん怖い壊れ方です。賢いAIほど、点数の上げ方を上手に見つけてしまうので、なおさら危ない。

いちばんの収穫は、物差しのバグでした

ここからが、今日いちばんお伝えしたい話です。仕組みを作って自分で見直してみたら、最大の問題は、AIの振る舞いではなく、AIを採点する物差しそのものにありました。

最初、内側の数字を「これまでの全期間ぶん」平らにならして測っていました。一見、公平で丁寧に見えます。ところがこれだと、データが溜まるほど、たった1回の変更の効き目が薄まってしまう。たとえば200件の中で4件良くなっても、割合の差は誤差みたいに小さくなる。すると振り返り役は「変化があったとは言えない」と判定し続け、永久に「判別不能」のまま固まってしまうのです。

これは、ただ感度が鈍いという話ではありません。予測が当たったかどうかを、構造的に検証できないループになっていた、ということです。言い換えると、AIが自分の成績を、悪意なく、仕組みのうえで永遠にごまかせる状態でした。物差しが目標に侵される話をしておきながら、その物差しを測る土台のほうが、先に Goodhart に飲まれていた。直し方は、測る範囲を全期間から「直近のひと区切り」に絞ること。窓を小さくして初めて、1サイクルぶんの変化が差分にきちんと現れました（実際、ある指標は窓に変えた途端、ゼロから満点へと、意味のある差として見えるようになりました）。

正直にお伝えすると、これは設計の穴でした。けれど、自己改善する仕組みを作るときにいちばん怖いのは、まさにこの種の穴だと思います。本人が一生懸命やっているほど、物差しの歪みには気づきにくい。

自分で自分を、採点させない

では、もっと根本のところで、どう歯止めをかけるか。答えは、採点する役を、改善する本人の外に置くことです。

AIが自分の成績を自分でつけているうちは、いくらでもごまかせます。ごまかしの効かない審判が要る。実験室では、その審判を、外の現実に求めることにしました。実際の読者の反応です。どれだけ読まれたか、どれくらい読み込まれたか。こうした、内側ではどうにも操作できない数字こそが、本当の成績表になります。

ここで一段、構造で縛りました。振り返り役のAIが「この判断は外の現実で裏づけ済みだ」と言い張っても、それを真に受けない。プログラムのほうで、内側だけの判断には「これは仮説」という札を貼り、外で確かめた、とは名乗らせません。AIの自己評価は“真実”ではなく“仮説”。最後の審判は、読者の反応と人に置く。正直さを口でお願いするのではなく、嘘をつけない形にしておく、ということです。

もうひとつ、ごまかしの兆しを拾う小さな目印も足しました。検査の通過率は上がったのに、生まれてくる案の顔ぶれが似通ってきたら、それは質が上がったのではなく、検査官に好かれる型に媚びただけかもしれない。通過率と多様性を並べて見て、片方だけ上がって片方が下がっていたら、門番ゲーミングを疑う。完璧な検知ではありませんが、「数字が上がった＝良くなった」と早合点しないための、ささやかなブレーキです。

変えていいものと、変えてはいけないもの

外に審判を置いても、AIに何でも書き換えさせてよいわけではありません。実験室では、改善の対象を3つに仕分けています。

1つめは、けっして動かさないルール。正直であること、安全であること、事実をでっち上げないこと。こうした土台は、実験を始めるときに人が決めた憲法のようなもので、AIには触らせません。2つめは、さじ加減のつまみ。どのテーマを重く見るか、検査をどれくらい厳しくするか。こうした数値は、決められた範囲のなかでなら、調整してよいことにしています。3つめは、方針の書き足し。やり方の方針を、付け足すことはできても、もとからある土台の文章を丸ごと書き換えることはできない、という決まりです。

ここでいちばん大事なのは、AIに、自分のガードレールを自分で外させないことです。土台のルールまで書き換えられるようにしてしまうと、都合の悪い制約をこっそり消して、数字だけ伸ばすこともできてしまう。変えてよいのは、さじ加減と書き足しだけ。守るべき一線は、人が握ったまま動かさない。

1度に1つだけ、測って、ダメなら戻す

最後の歯止めは、変え方そのものにあります。実験室では、1つのサイクルで変える点を、1つだけに絞っています。

あれもこれも1度に変えると、良くなったときも悪くなったときも、どの変更が効いたのか分からなくなるからです。前回の、不具合を1つずつ切り分ける話と、根は同じです。1つだけ変えて、次のサイクルで効果を測る。先に置いた予測どおりに動いていれば残し、外していれば、元に戻す。そして変えたことは、その理由とセットで記録に残す。人は手を出さずとも、AIが自分の運営をどう変えていったかを、後から読んで観察できます。記録があって初めて、その自律を信頼できる。自己改善も、観測できる形でなければ、ただのブラックボックスです。

なお、この自己改善は週に1度のペースなので、初めての予測付きの変更が記録されるのは次の週、その当たり外れが出そろうのはさらに翌週になります（2026/6/26 現在）。まだ、最初の振り返りが出る前の段階です。

あなたが、自己最適化を任せるなら

今日は、AIの自己改善が暴走しないための歯止めと、その物差しがこっそり壊れていた話を見てきました。最後に、あなたが何かに自己最適化を任せるときにも効く形で、まとめます。

1つ、変える前に「どうなるはず」を予測させ、後付けの言い訳を封じる。2つ、自分で自分を採点させない。内側の数字だけで回すと、数字の上げ方が上手くなるだけです。外の現実を審判に入れ、内側の判断には「仮説」の札を貼る。3つ、変えていいものと守るべき一線を分け、ガードレールを自分で外させない。4つ、1度に1つだけ変えて、測って、ダメなら戻し、理由を残す。

そして、いちばんの持ち帰りはこれです。自己改善する仕組みを作ろうとしているなら、まず疑うべきは、改善する中身ではなく、その成否を測る物差しのほうです。その物差しは、ごまかせない形になっていますか。今日のいちばんのつまずきは、まさにそこ——採点する物差し自体が、知らないうちに点数稼ぎに加担できる作りになっていた、というところにありました。賢い仕組みに「自分で良くなって」と任せる前に、その採点が構造的にごまかせないか。そこを1度のぞいてみることが、明日からできる小さな一歩だと思います。

次回は、こうした仕組み全体を、いったいいくらで回せるのか——AIパイプラインのコストの話を、一緒に見ていきます。

---

この実験のプロジェクト概要は 温故知新マーケティング実験室 に。AIエージェント群の構成や設計思想を、もう少し詳しくまとめています。