AIに書かせて、AIに没にさせる

AIが書いたものを、そのまま世に出す勇気はありますか

AIに文章を書かせること自体は、もうすっかり簡単になりました。けれど、書かせたものをそのまま公開する段になると、ふと手が止まりませんか。これ、本当に出していいんだっけ。事実に誤りはないか、言い過ぎていないか。立ち止まったことのある方は、多いと思います。

やっかいなのは、自分の作ったものを自分で点検すると、どうしても甘くなることです。生み出したばかりの案には、つい肩入れしてしまう。前回お話しした温故知新マーケティング実験室では、人が記事に手を入れないと決めているので、この点検も丸ごとAIに任せています。今日は、その品質の門番をどう作っているか、そして「一本も公開可にならなかった」という結果は失敗なのかどうかを、一緒に考えてみましょう。

作る役と、検査する役を分ける

まず肝になるのは、作り手と検査役を、はっきり分けることです。

実験室では、アイデアを起こすAIと、それを審査するAIを、別の担当に分けています。同じ1つのモデルに「考えて、ついでに自分で点検して」と頼むのではありません。立場を変えるからです。生み出す側は、案の良さを伸ばそうとします。検査する側には、まったく違う問いを渡します。もっと良くするには、ではなく、これは公開していいか。問いが変われば、見えるものが変わる。同じ知能でも、役割を切り替えるだけで、点検はぐっと厳しくなります。

検査役には、見るべき角度も最初から手渡しておきます。実現できそうか、根拠はあるか、既存のものと違うか、倫理的に問題はないか、日本の市場に合うか、小規模な事業者でも使えるか、誇大な主張はないか、そのまま公開していい品質か、そして個人情報の扱いは法律に沿っているか。漠然と「どう思う？」と訊くのではなく、軸を並べて1つずつ当てさせる。点検の質は、何を見るかをどれだけ具体的に指定できるかで決まります。

しかも、この検査役は1つのモデルではありません。性質の違う複数のモデルに同じ案を同時に審査させ、審判役がその意見を束ねる作りにしています。1人で見ると、誰にでも見落としの癖があります。けれど、別の傾向を持つ何人かで見れば、1人が見逃した穴を、別の1人が拾う。品質の最後の砦を1人に任せきりにしないための工夫です。

「面白いか」と「出していいか」は、別々に訊く

もう1つ、地味ですが大事な工夫があります。検査役は最後に、公開してよいかどうかだけを、ほかの評価から切り離して、1つの答えとして返します。面白いかどうかと、出していいかどうかは、別の問いだからです。

これまでに審査したのは15件。最初に出した案が8件、それを直した改善版が7件です。そして、公開してよいと判定されたものは——ゼロでした。1件も通っていません。

ただ、内訳を見ると、すべてを冷たく突き放しているわけではないと分かります。15件のどれも、捨てろという却下ではなく、公開する前に直すべき、という判定でした。危険度の見立ては、中くらいが大半で、一部が高い。つまり門番は、案をボツにしているのではなく、まだ通していないだけなんですね。この区別が、後で効いてきます。

ゼロは、失敗でしょうか

公開可がゼロと聞くと、ゲートがきつすぎるのか、それともAIの案がよほど低いのか、と感じるかもしれません。でも、少し立ち止まって考えてみてください。1度もノーと言わない門番は、はたして門番と呼べるでしょうか。すべてを通す検査は、検査していないのと同じです。

ゲートの価値は、いくつ通したかではなく、何を止めたかにあります。検査役が実際に拾った指摘を、いくつか紹介します。

あるアイデアは、利用者の回答を海外のAIに送る設計でしたが、その同意文がたった一行で、個人情報を国外に渡すときに本来必要な説明がごっそり抜けている、と指摘されました。別の案では、AIに考えさせた「パネルの論点」という制作の裏側が、そのまま記事の中に残っていました。読者には何のことか分からないので消すべきだ、という指摘です。さらに別の案は、運用の手間を「月に2〜3日」と書いた数行あとで「週に2〜3日」と書いていて、4倍も食い違っている、と見抜かれました。どれも、思いついた勢いのままでは、本人にはまず気づけない穴です。こういう穴を世に出る前に塞ぐこと。それが門番の仕事です。

直して、もう1度通す

1度ダメでも、直したら通るかもしれません。だから実験室では、指摘を踏まえた改善版を作り、もう1度、同じ検査役にかけています。最初の案で止まったものが、手直しで公開可に転じるか。そこを観察したいからです。

ところが、改善版の7件も、やはり公開可はゼロでした。これは門番が意地を張っているのではなく、直すべき点が深いと、1度の手直しでは届かない、ということだと受け止めています。表面の言い回しではなく、設計そのものに穴があるときは、書き換えるだけでは塞がらない。

たとえば、ある案には、こんな指摘がついていました。読者の反応を毎週ためて次の配信に活かす仕組みなのに、反応が減ると配信の質が落ち、質が落ちるとさらに人が離れる、という負の連鎖が想定されていない、と。これは文章を整えても消えません。仕組みそのものの弱さだからです。別の案では、既存の似たサービスとの違いがどこにあるのかが、最後まで詰められていない、とも指摘されました。言葉を足すほど立派に見えるのに、骨組みの穴はそのまま。検査役が見ているのは見栄えではなく、この骨組みのほうなのだと、改善版を通してよく分かりました。

ここで、もし人が「もういいから出してしまおう」と言えてしまうと、ゲートは一気に形だけのものになります。人が介入しないと最初に決めたからこそ、門番の判定がそのまま効いている。厳しさを保つには、抜け道をなくしておくことが要るのだと、あらためて感じています。

あなたのAI出力に、門番をつけるなら

今日は、AIに書かせたものをAI自身に止めさせる、品質の門番の話をしてきました。最後に、あなたのAI出力にも応用できる形に、3つだけまとめます。

1つ、作る役と検査する役を分ける。同じAIでも、生成と点検は別のやりとりに切り分けるだけで、目が変わります。2つ、検査役には見る角度を先に渡す。倫理、法令、誇大、公開品質と、軸を具体的に並べておく。3つ、面白いかと出していいかを、別々に訊く。この2つを一緒にすると、面白さに引きずられて判断が甘くなります。

そしてもう1つ、公開か却下かの二択にしないことです。今回の15件がどれもそうだったように、「公開前に直す」という保留の答えを持たせておくと、案を捨てずに、けれど甘くも通さずに済みます。この第3の答えが、門番をただ厳しいだけの存在にしないための逃がし弁になります。

そして、いちばんお伝えしたいのはここです。「まだ出せない」は失敗ではなく、どこを直すべきかを教えてくれる情報です。もしあなたがAIの出力を世に出す立場なら、うまく通すための仕組みより先に、きちんと止めるための仕組みを用意してみてください。止められる仕組みがあって初めて、通す判断を信じられるようになります。

次回は、こうして止まった案——つまり没になった案を、ただ捨てずに学びへ変える話を、一緒に見ていきます。

---

この実験のプロジェクト概要は 温故知新マーケティング実験室 に。AIエージェント群の構成や設計思想を、もう少し詳しくまとめています。