AIは、本にない言葉も書いてしまう

その言葉、ほんとうに「元ネタ」にありましたか

AIに文章を書かせると、おどろくほどすらすらと、それらしいものが出てきますよね。要約も、紹介文も、見出しも、ひと息で。便利です。けれど、できあがったものを元の資料とつき合わせてみると、そこにないはずの言葉が、しれっと混じっていることがあります。読んだだけでは気づけないくらい、自然な顔をして。そんな経験、ありませんか。

私はいま、ひとつの実験をしています。自分のKindle本『AIに聞くほど考えられなくなる？』を、Pinterestから売ってみる、という試みです。Pinterestに置く画像（Pinと呼びます）を、AIに何枚も作らせています。その文案を書いてもらうとき、ひとつだけ条件をつけました。「本に書いてある内容だけで書くこと。本にない言葉は作らないこと」。

それでも、起きました。AIはある1枚で、「経験のサンドイッチ」という、いかにもそれっぽい言葉を出してきたのです。日々の経験を、前後のひと手間ではさんで学びに変える。意味は通っていますし、専門用語めいた響きもあります。けれど、本をめくっても、その言葉はどこにも出てきません。本が実際に使っているのは、もっと素朴な言い方でした。「学びの輪に、一周通す」。始める前に問いを1つ立て、最中は評価せず観察し、終わったらふり返る。教育学でいうコルブの輪を、毎日サイズにしただけのものです。

つまりAIは、本の中身そのものは正しくつかんでいました。けれど、そこに本にはない名前を、自分でかぶせてしまった。意味は近い。でも、本の言葉ではない。

小さな違いに見えるかもしれません。でも、本を紹介する文に、その本が使っていない言葉が載っていたら、どうでしょう。読んだ人が「経験のサンドイッチ」で調べても、本にはたどり着けません。なにより、書いた本人が、その言葉を本物だと思い込んだまま、世に出してしまう。だから1枚ずつ、AIの出した言葉を本の言葉に引き戻し、どの項目が本のどこに書いてあるかを、一つひとつ確かめていきました。

なぜ、ないはずの言葉が出てくるのか

ここで少し、立ち止まって考えてみたいことがあります。そもそもAIは、なぜ本にない言葉まで作ってしまうのでしょう。

AIは、正しさそのものより、「もっともらしさ」を返すのが得意な道具です。文脈に合いそうな、なめらかにつながる言葉を選ぶ。その結果、たいていは的を射るのですが、ときどき、ありそうで実在しないものまで、自信たっぷりに差し出します。今回の「サンドイッチ」も、構造としては本の内容に合っていました。だからこそ、見抜きにくい。明らかな間違いなら気づけます。やっかいなのは、半分正しいものなのです。

とくに名前やラベルは、AIがいちばん作りやすいものです。中身がだいたい合っていれば、それらしい見出しを1つ付けるくらい、AIには造作もありません。そして私たちの側も、名前がつくと「きちんと整理された」と感じて、つい受け入れてしまう。けれど、名前がついていることと、それが正しいことは、別の話です。聞き慣れた言葉を、分かった言葉だと取り違える。これは、AIに限らず、私たちがふだんからやっていることでもあります。ニュースで何度も耳にした言葉を、なんとなく分かった気でいる。いざ人に説明しようとすると、言葉が出てこない。あの感覚と、地続きなのです。

そして、もっと厄介なのは、受け取る私たちの側です。すらすら読める文章ほど、私たちは「なるほど、分かった」と感じてしまう。実際には中身を確かめていないのに、読みやすさを、理解と取り違えてしまうのです。認知科学では、これを説明深度の錯覚と呼びます。人は、自分が実際に分かっている以上に、分かっていると思い込んでしまう。ただ、それだけのこと。AIのなめらかな出力は、この錯覚を、とても起こしやすいのです。

「分かったつもり」は、つくり手にも起きる

おかしな話なのですが、私がこのとき作らせていたのは、まさにその「分かったつもり」をテーマにした本のための、コピーでした。

『AIに聞くほど考えられなくなる？』が伝えたいのは、こういうことです。AIの時代に本当にこわいのは、AIがときどき間違えることより、私たち自身が「考えたつもり」「分かったつもり」になって、それに気づけなくなること。そしてAIは、その「つもり」を、かつてないスピードで増やす力を持っている。だからこれから要るのは、答えを速く手に入れる力ではなく、自分の「問い」を育てる力のほうではないか、と。

本のためのコピーづくりで、本が警告しているとおりのことが起きたわけです。AIに任せたら、本にない言葉が、分かったつもりの顔をして紛れ込んだ。皮肉な話ですが、おかげで腹に落ちました。AIに任せることそのものが、危ういのではありません。任せたあとに、確かめないことが危ういのです。

確かめを、自分の側に残す

では、AIに任せながら、つもりを世に出さないために、何ができるでしょう。私が今回やったこと、そしてあなたが明日からできることを、いくつか分けてお話しします。

ひとつめは、書く前に「出典の台帳」を作ることです。これから書く文の、ひとつひとつの主張に、根拠をひとつずつ対応させておく。この1文はどこに書いてあるか。この数字はどのデータから来たか。台帳に書けない主張は、そもそも書かない。順番が逆になりがちですが、文を書いてから出典を探すのではなく、出典をそろえてから書くのです。私はこの実験でも、Pinを作る前に、どの1行が本のどの章に基づくかの対応表を先に用意しました。文より先に、根拠を。これだけで、ないはずの言葉が入り込む隙が、ぐっと減ります。

ふたつめは、AIの出した言葉を、元ネタに引き戻すことです。AIが気の利いた言い回しを出してきても、それが元の資料の言葉でないなら、資料の言葉に直す。今回でいえば、「サンドイッチ」を「学びの輪」に戻したように。気の利いた言い回しほど、元の資料には無いことが多いものです。

みっつめは、役割を分けて持つことです。AIに任せるのは、書くこと、形にすること。自分が握るのは、決めること、確かめること。実際に手を動かすところはAIに任せ、私は決めて確かめる側にいる。任せても、最後の確かめだけは手放さない。そう決めておくと、迷いません。

たとえば、AIに何かを要約させたら、出てきた1文ごとに「これは元のどこ？」と指さしてみてください。指させない1文があれば、それは消すか、確かめにいく。慣れれば、ものの数分です。この本のPinでは、1枚に載せる「5つの問い」も、頭の中で作らず、特典として配っているチェックリストから、実在する項目だけを起こしました。数すら、勝手に決めない。そう自分に課しておくと、つもりが混じる余地が、自然に消えていきます。

任せても、本物にするために

AIに書かせるのを、やめる必要はありません。任せれば、私たちはずっと速く形にできます。ただ、すらすら出てきたものほど、私たちは確かめたくなくなる。その心理を知っておくだけで、ずいぶん違います。これが、この実験を通して私が握っておきたいと思っていることです。AIに任せながら、考えることだけはやめない。

もしあなたが、いまAIに何かを書かせているなら。出てきた文章を、もう1度だけ、元ネタと並べて読んでみてください。きれいにつながっているところほど、立ち止まる。そこに、ないはずの言葉が、分かったつもりの顔をして座っていないか。その小さな一手間が、あなたの作るものを、つもりではなく、本物に変えてくれます。

そもそも私は、なぜ自分の本をPinterestで売ろうと思ったのか。次の編では、作るより先に「届け方」のほうを確かめにいった話を、一緒に見ていきましょう。