AIが、良いものまで捨てたとき

AIに「これは良い？」と聞いて、そのまま信じていませんか

何かを選ぶとき、AIに「これは良いと思う？」と尋ねて、返ってきた答えをそのまま採用する。便利です。私もよくやります。AIは、よどみなく「はい」「いいえ」を返してくれる。その迷いのなさが、かえって、こちらが確かめる気持ちを緩めてしまうこともあります。でも、その判断、ほんとうに信じて大丈夫でしょうか。

今日は、AIに「良し悪し」を判断させてみて、つまずいた話をします。そして、そのつまずきの直し方が、ちょっと意外なところにあった、という話です。

AIに「拾う基準」を渡したら、別の問題が起きた

前の編で、返信の下準備を AI にさせる、という話をしました。関心の近い人の投稿を AI が拾い、返信の下書きを作る。けれど最初は、拾ってくるのが広告やフォロワー報告ばかりで、とても使えませんでした。

そこで、選り分けの基準を AI に渡すことにしました。明らかな広告や数あわせは、簡単なルールで先に落とします。招待コードの並んだ投稿や、「あと10人で達成」のようなフォロワー報告は、言葉のパターンで機械的にはじける。ここは、人がはっきり引いた線です。むずかしいのは、その先でした。広告でも報告でもないけれど、会話になるかどうかは、ひとことでは決められない投稿たち。その判断を、AI に頼ろうとしたのです。

そこで、残った投稿を AI に見せて、こう尋ねました。「これは、返信する価値のある投稿ですか」と。

ねらいどおり、広告や告知は落ちました。ところが、一緒に、良い投稿まで落ちてしまったのです。

たとえば、ある人が、AIに文章を書かせてそのまま使うことの危うさを、自分の経験から書いていた投稿がありました。まさに、返事をしたくなる、中身のある投稿です。けれど AI は、これに「価値なし」の判定を下しました。本当はいちばん拾いたかったものを、AI は落としていたのです。

なぜ、良いものまで捨てたのか

不思議に思って、少し考えました。AI が壊れているわけではなさそうです。広告はちゃんと落としている。なのに、良いものまで落とす。

たどり着いたのは、問いの形でした。「これは価値がありますか」という聞き方は、AIを「門番」にします。価値を証明できないものは、通さない。すると、少しでも「これは雑談かな、ニュースの紹介かな」と迷う投稿は、安全のために「価値なし」へ倒れていく。きちんとした意見でも、お手本どおりでなければ、はじかれてしまうのです。

これは、人でも同じかもしれません。「この企画、面白い？」と正面から聞かれると、人はつい厳しくなります。粗を探し、確信が持てなければ「うーん」と言いたくなる。問いそのものが、答えを慎重な側へ引っぱるのです。

思えば、「価値があるか」と「明らかにダメか」は、AIにとって難しさがちがいます。何かの価値を保証するのは、自信のいる判断です。けれど、はっきりした広告や募集を見分けるのは、ずっとやさしい。やさしい判断をさせれば、AIは安定して当てます。難しい判断をさせると、迷って手前で倒れる。同じ AI でも、引き受けさせる判断の重さで、頼れる度合いが変わるのです。

しかも、この種の取りこぼしは、目に見えにくいのです。落とされた投稿は、手元に並びません。もし私たちが、たまたまあの投稿を覚えていなかったら、AIが良いものを捨てたことに、ずっと気づけなかったでしょう。通ってきたものは目に入ります。けれど、はじかれたものは、手元に残らない。間違って捨てられたものほど、目につかなくなります。これは、けっこう怖いことだと思いました。

問いを、裏返してみた

そこで、モデルを変える前に、問いを変えてみました。「価値があるか」を聞くのをやめて、こう尋ね直したのです。「これは、明らかに会話にならないもの、つまり宣伝・募集・お知らせの類いですか」。そして、明らかにダメだと言えるものだけを落とし、それ以外は残す。

同じ AI に、同じ投稿を見せています。変えたのは、問いの向きだけ。それなのに、結果は変わりました。さっき捨てられた、AIへの気づきを書いた投稿は、今度はちゃんと残りました。広告やお知らせは、相変わらず落ちます。拾いたいものが拾われ、落としたいものが落ちる。問いを裏返しただけで、AIの働きが変わったのです。

念のため、前に捨てられた何件かを、新しい問いでもう1度かけてみました。ゲームの広告は落ちる。フォロワー報告も落ちる。けれど、人の気づきや困りごとは、ちゃんと残る。1件ずつ確かめて、ようやく納得しました。直すべきは、AIの賢さではなく、こちらの問いだったのです。

モデルでも、例でもなく、問いだった

ここが、私にはいちばんおもしろいところでした。

うまくいかなかったとき、打ち手はいくつも思いつきます。もっと賢いモデルに変える。例をたくさん見せる。判定の条件を細かく書き足す。どれも、AIの側をいじる発想です。けれど今回効いたのは、そのどれでもなく、こちらが渡す問いの形でした。

問いの形が、答えの形を決めていた。これは、AZASLAB がいつも考えていることと、まっすぐ重なります。AIに良い答えを出してほしいなら、まず良い問いを渡す。同じ道具でも、問いが変われば、引き出せるものが変わります。問いを研ぐのは、モデルではなく、人の仕事です。

問いの形が答えを変える、というのは、AIにかぎった話ではありません。同じ出来事でも、「何が悪かったのか」と問えば、人は粗探しを始めます。「次はどう試せるか」と問えば、同じ頭が前を向く。問いは、考えの進む向きを決める舵のようなものです。良い答えがほしいときほど、答えを探す前に、問いの形を見てやる価値があります。

任せきりにしない、は問いを研ぐこと

このシリーズで、私たちは「AIに任せきりにしない」を、いろいろな角度から見てきました。AIの書いたものを鵜呑みにしない。AIの判定をそのまま信じない。今日の話は、その一歩先にあるのかもしれません。

任せきりにしない、とは、AIの答えを疑うことだけではありません。AIに渡す問いを、人が立て直すこと。答えに違和感があったとき、AIを責める前に、自分がどう聞いたかを見直す。たいていの場合、直すべきは答えの側ではなく、問いの側にあります。

AIは、渡された問いに、まっすぐ答えようとします。だからこそ、どんな問いを渡すかに、こちらの考えがそのまま映る。問いを研ぐとは、AIを使いこなすこと以上に、自分が何を知りたいのかを、はっきりさせることなのかもしれません。

もし、AIの答えに違和感があったら

最後に、持ち帰れることを1つだけ。

AIの答えが、どうもしっくりこない。そう感じたら、モデルや例を疑う前に、自分の問いを1度、裏返してみてください。「良いものを選んで」を「明らかにダメなものだけ外して」に。「正解を教えて」を「私の考えの穴を突いて」に。「これで合っている？」を「どこを確かめれば、確かめられる？」に。聞き方をひとつ変えるだけで、返ってくるものが変わることがあります。

AIに聞くほど、自分で考えなくなる。そうならないための分かれ目は、たぶん、答えの側ではなく、問いの側にあります。測ること、会話すること、そして問いを研ぐこと。AIと一緒に発信をつくるというのは、最後はいつも、自分の問いに立ち返る作業なのだと思います。