連載「温故知新マーケティング実験室」· 第13編/全13編
AIに、答えの出ない問いを抱えさせる
立てた問いを、検証して閉じるまで(連載 13)
良い問いを立てたのに、そのまま忘れたこと、ありませんか。AIにも同じ癖が。問いを抱え・調べ・確かめて閉じる仕組みと、途中で踏んだ落とし穴を、実際の記録から一緒に。
連載「温故知新マーケティング実験室」· 第13編/全13編
立てた問いを、検証して閉じるまで(連載 13)
良い問いを立てたのに、そのまま忘れたこと、ありませんか。AIにも同じ癖が。問いを抱え・調べ・確かめて閉じる仕組みと、途中で踏んだ落とし穴を、実際の記録から一緒に。
会議の終わりに「来週これを調べよう」と良い問いが出たのに、次の週にはすっかり忘れている。日記に「これはどうなるだろう」と書いたきり、答え合わせをしない。そんなこと、ありませんか。問いを立てる瞬間はいちばん頭が冴えているのに、それを確かめるところまでは、なかなか辿り着けません。
じつは、わたしの実験室のAIも、まったく同じことをしていました。今日は、その癖に気づいて、「立てた問いを、ちゃんと確かめて閉じる」ところまで持っていった話をします。途中で、自分で作った仕組みの中に、自分でいちばん嫌っていた落とし穴を見つけることにもなります。あなたが何かを自動で回すときにも、あるいは自分の仕事の進め方そのものにも、持ち帰れる形で、一緒に見ていきましょう。
この実験室では、AIが毎週ふりかえりのレポートを書きます。その最後に「来週の問い」という欄があって、AIはそこに、次に確かめるべきことを自分で書いていました。たとえば「公開可率が0%なのは、なぜか」。良い問いです。
ところが、ある日コードを辿ってみて、ぞっとしました。その問いを、誰も・何も読み戻していなかったのです。レポートはファイルとして保存されるだけ。翌週の自己改善は、別の数字だけを見て動いていて、先週の問いには見向きもしない。AIは賢い問いを立てては、毎週きれいに忘れていました。
しかも、これはただの抜けではありませんでした。前に、自己改善のところで「変える前に予測を書き、後で当たり外れを確かめる」という規律を作った、という話をしました(この連載の第9編で)。その規律をわざわざ作ったのに、レポートの問いだけは、その外で確かめられないまま放っておかれていた。自分のルールを、自分のレポートが破っていたわけです。
ここに、最初の持ち帰りがあります。確かめないなら、問いを立てる意味はありません。検証の道がついていない問いは、ただの飾りです。
そこで、問いの扱いを作り直しました。骨格はこうです。
AIが立てた問いを、その場限りの文章ではなく、抱え続ける「課題」として記録します(2026/6/27 現在)。そして、毎週1回だけ見直して、3つのどれかに振り分けます。1つめ、知識が足りなくて解けない問いは、AIがwebで調べて、出典つきのメモを知識の箱に足す。2つめ、読者がどう反応するかでしか分からない問いは、アクセス解析のデータが来るのを待って、それと突き合わせる。3つめ、内側の数字で測れる問いは、実際に設定を1つだけ変えてみて、その結果で確かめる。
肝心なのは、閉じ方です。問いを「解決した」と片づけてよいのは、こうして実際に確かめたときだけ。調べて読んだだけ、では閉じません。
ここで、1つ、強く決めたことがあります。手に負えない問いを、人に丸投げしない、ということです。この実験は「AIが自律で運営し、人は観察する」のが前提なので、AIが詰まった問いを人に振って答えさせるのは、自律の放棄になります。だから、いま解けない問いも、AI自身が抱えたまま持ち越し、毎週「今なら解ける形にできないか」を考え直す。新しく調べた知見が増えれば、前は解けなかった問いが、解けるようになるかもしれない。人が、答えの出ない問いを抱えながら、折にふれて考え直すのと、同じです。
おかげで、知識をためる箱の役目も変わりました。ただ貯まっていく倉庫から、「解くべき問いを抱えた、研究ノート」へ。古いものを翻訳し、新しいものと結びつけて貯めてきたその箱が、今度は自分の宿題を持つようになったわけです。
ここからが、今日いちばんお伝えしたい話です。
仕組みを作り終えて、念のため自分でコードを点検しました(人が方針を決め、確かめる。実装はAIがやる、という分担です)。すると、いちばん大事なところに穴が見つかりました。
内側の数字で測る問いについて、わたしは最初、「設定は何も変えずに、ただ数字が動くかを見る」だけの確かめ方を入れていました。ところが設定を変えていないので、数字はたまたまのゆらぎでしか動きません。そのゆらぎでうっかり上向くと、仕組みは「予測が当たった、解決」と判定してしまう。つまり、何も確かめていないのに、ノイズで問いを閉じてしまう。偽の判定です。
思い出してください。この一連の仕組みは、そもそも「確かめない問いをなくす」「偽の判定をしない」ために作ったものでした。その仕組みの最初の実装の中に、よりによって偽の判定が紛れ込んでいた。自己改善の物差し自体が壊れていた、という第9編の話と、まったく同じ構造です。
直し方は、はっきりしています。実際に設定を1つ変えて、その変更の結果で確かめたときだけ閉じる。調べただけ・変えていないものは、閉じない。読んだだけで分かった気にならない、という当たり前を、コードのうえで守らせました。
落とし穴は、いつも思っているより近くにあります。それを止めるために作った仕組みの、内側にいることさえある。だからこそ、作った本人の点検と、外からのレビューを、両方通す意味があります。
問いを抱えるようにすると、こんどは別の心配が出てきます。ちゃんと前に進んでいるのか、です。抱えているだけで何も解けないなら、それはただの先送りになってしまう。
そこで、課題ごとに「難しさ」を2つの面に分けて記録しました。1つは、知識がどれだけ足りないか。もう1つは、そもそも確かめようがあるか。この2つを、混ぜずに別々に持ちます。
知識の難しさは、AIが調べて知見を足せば、下げられます。だから、ここが時間とともに下がっていけば、AIがちゃんと学べている、という手がかりになる。一方で、確かめようのなさは、読者の反応データが繋がるまで、AIの努力だけでは下がりません。どちらの難しさを実際に減らせているのか——その2つの動きを並べて見ると、抱えた問いが前に進んでいるのか、それともどこで詰まっているのかが、静かに見えてきます。
今日は、AIが立てた問いを、抱えて・調べて・確かめて閉じるところまでと、その途中で自分が踏んだ落とし穴を見てきました。最後に、あなたが何かを進めるときにも効く形で、まとめます。
1つ、確かめる道のない問いは、立てっぱなしにしない。「これが起きたら当たり、これなら外れ」「いつ確かめる」を、問いとセットにする。それが作れないなら、その問い自体を、形を変えて抱え直す。
2つ、解けない問いを、すぐ誰かに丸投げしない。抱えたまま、新しく分かったことが増えるたびに、考え直す。多くの前進は、抱えて考え続けた先にありました。
3つ、調べただけ・読んだだけで、分かった気にならない。確かめて初めて、閉じる。
いま、この実験室は、3つの問いを抱えはじめたところです(2026/6/27 現在)。「公開可率が0%なのはなぜか」「選別の閾値はどこが最適か」「修正のやり直しを止めたまま、品質は十分か」。これらが、これからの数週間でどう解けていくか、あるいはどこで詰まるのか。それは、まだ分かりません。分からないまま、抱えて、考え続けます。
もしあなたが、答えの出ない問いを前にして立ち止まっているなら——その問いを、捨てずに、けれど立てっぱなしにもせず、確かめる道を1つだけ考えてみてください。問いは、抱えて、確かめて、初めて前に進みます。
この実験のプロジェクト概要は 温故知新マーケティング実験室 に。AIエージェント群の構成や設計思想を、もう少し詳しくまとめています。