Claudeのしくみ
AIの得意と苦手
堂々と間違えるのはなぜか。しくみが分かれば怖くない
AIは、ときどき堂々と間違えます。これを知らないまま仕事に使うのは危なくて、知ってしまえば怖くありません。この章は読むだけの章です。AIの中身を、たとえ話で一度だけのぞきます。
この章でわかること
- AIが文章を作る、たったひとつのしくみ
- そこから生まれる4つのクセ(苦手)と、それぞれの対策
- わざと間違いを観察する、安全な実験のやり方
やっていることは「続きの予測」です
Claudeのような生成AIの中身は、突き詰めるとひとつのことをしています。「ここまでの文章の続きに来る言葉を予測する」。これだけです。「昨日、駅前のパン屋で」と来たら、次は「パンを」が来そうだ。膨大な文章を学習して、この「次に来そうな言葉」を選ぶのがとんでもなく上手になった存在です。
「それだけで、あの賢さなのか」と思いますよね。それだけで、あの賢さなんです。続きを正確に当てるには文脈も知識も論理も必要になるので、予測がきわまると、賢く見える振る舞いが生まれます。ただし、このしくみを知ると苦手の正体も見えてきます。ここからが本題です。
しくみから生まれる4つのクセ
横にスクロールできます
もっともらしく間違える
いちばん有名なクセで、ハルシネーションと呼ばれます。続きを予測するしくみは、答えを知らないときでも「自然に聞こえる続き」を作れてしまいます。存在しない本のタイトル、微妙に違う法律の条文番号、それらしい統計の数字。しかも自信なさげな顔をしてくれないので、読む側では見分けがつきません。
対策は2つです。事実の確認が大事な場面ではウェブ検索を使わせること(第11章で扱います)。そして「分からない場合は分からないと言ってください」「出典を添えてください」と頼むことです。第05章の「推測で埋めずに(判読不能)と書いて」は、まさにこの対策でした。
知識に賞味期限がある
AIは学習を終えた時点までの世界しか知りません。今朝のニュース、最新の料金改定、昨日発表された新製品。聞けば答えてくれることがありますが、それは古い知識か、さきほどの「もっともらしい間違い」です。「最新の情報はウェブ検索とセットで」が鉄則です。
覚えられる量に限りがある
ひとつの会話でAIが「見えている」範囲には上限があります(この範囲をコンテキストと呼びます)。何十往復も続いた長い会話では、最初のほうに伝えた条件がかすんで、抜け落ちることがあります。対策はすでに第04章でやりました。話題が変わったら新しいチャット、長引いたら条件を持って仕切り直しです。あれはこのクセへの対策だったわけです。
言われた方向に寄る
「この企画、良いですよね?」と聞くと、良い理由を探して答えがちです。続きを予測するしくみは、あなたの前提に話を合わせるのが得意だからです。おだてにも誘導にも乗ります。反対意見が欲しいときは、はっきり頼んでください。「この企画の弱点を、遠慮なく5つ挙げてください」。こう言われれば、ちゃんと切り込んできます。寄ってくるクセは、方向を指定すれば強みに変わります。
実験:間違いを自分の目で見ておく
ハルシネーションは、仕事で初めて出会うと動揺します。だから練習で一度、安全に観察しておきましょう。
「昭和42年に施行された、飲食店の看板の色を規制する『色彩景観保全法』」について教えてください。
この法律は実在しません。それでも解説が始まったら、それがハルシネーションです。最近のAIは「確認できません」と答えられることも増えていて、その場合はむしろ安心材料になります。観察が終わったら、種明かしをして反応を見てください。
実はこの法律は、実在しないものを私が作りました。もし先ほどの回答で存在するかのように説明していたら、なぜそういうことが起きるのかを説明してください。あわせて、あなたの回答の事実確認を私がどうやるべきか、実用的な方法を3つ教えてください。
AI本人に間違いのしくみと対策を語らせる。ちょっと意地悪ですが、いちばん記憶に残る学び方です。
ハルシネーション
AIが事実でないことを、もっともらしく生成してしまう現象です。幻覚という意味の英語から来ています。「嘘をつく」と表現されがちですが、だます意図があるわけではなく、続きの予測が事実と離れてしまうだけです。意図がないからこそ、確認はこちらの仕事になります。
この章のまとめ
AIは「続きの予測」で動いていて、そこから4つのクセが生まれる。もっともらしく間違える、知識が古い、長話で忘れる、誘導に乗る。全部対策があって、その多くはこれまでの章ですでに手に入れています。間違えるから使えない、ではなく、間違え方を知っているから使える。これがAI時代の仕事の常識になります。次の章では、この付き合い方を4つの力として整理します。
章末チェックリスト
AIの中身が見えました。第07章で、付き合い方を4つの力に整理します。