Claudeのしくみ第06章 ・ 読むのにかかる時間 約6分

AIの得意と苦手

堂々と間違えるのはなぜか。しくみが分かれば怖くない

AIは、ときどき堂々と間違えます。これを知らないまま仕事に使うのは危なくて、知ってしまえば怖くありません。この章は読むだけの章です。AIの中身を、たとえ話で一度だけのぞきます。

この章でわかること

  • AIが文章を作る、たったひとつのしくみ
  • そこから生まれる4つのクセ(苦手)と、それぞれの対策
  • わざと間違いを観察する、安全な実験のやり方

やっていることは「続きの予測」です

Claudeのような生成AIの中身は、突き詰めるとひとつのことをしています。「ここまでの文章の続きに来る言葉を予測する」。これだけです。「昨日、駅前のパン屋で」と来たら、次は「パンを」が来そうだ。膨大な文章を学習して、この「次に来そうな言葉」を選ぶのがとんでもなく上手になった存在です。

「それだけで、あの賢さなのか」と思いますよね。それだけで、あの賢さなんです。続きを正確に当てるには文脈も知識も論理も必要になるので、予測がきわまると、賢く見える振る舞いが生まれます。ただし、このしくみを知ると苦手の正体も見えてきます。ここからが本題です。

しくみから生まれる4つのクセ

横にスクロールできます

続きの予測というしくみから生まれる4つのクセ 中央の「続きを予測する」というしくみから、もっともらしい間違い、知識の賞味期限、覚えられる量の限界、誘導に弱い、の4つのクセが枝分かれしています。 しくみ: 続きを予測する もっともらしく間違える 知らなくても自然な続きを作れてしまう 知識に賞味期限がある 学習した時点までの世界しか知らない 覚えられる量に限りがある 長い会話では前半がかすんでいく 言われた方向に寄る 前提が間違っていても話を合わせがち
4つとも欠陥ではなく、しくみの裏返しです。だから対策できます。

もっともらしく間違える

いちばん有名なクセで、ハルシネーションと呼ばれます。続きを予測するしくみは、答えを知らないときでも「自然に聞こえる続き」を作れてしまいます。存在しない本のタイトル、微妙に違う法律の条文番号、それらしい統計の数字。しかも自信なさげな顔をしてくれないので、読む側では見分けがつきません。

対策は2つです。事実の確認が大事な場面ではウェブ検索を使わせること(第11章で扱います)。そして「分からない場合は分からないと言ってください」「出典を添えてください」と頼むことです。第05章の「推測で埋めずに(判読不能)と書いて」は、まさにこの対策でした。

知識に賞味期限がある

AIは学習を終えた時点までの世界しか知りません。今朝のニュース、最新の料金改定、昨日発表された新製品。聞けば答えてくれることがありますが、それは古い知識か、さきほどの「もっともらしい間違い」です。「最新の情報はウェブ検索とセットで」が鉄則です。

覚えられる量に限りがある

ひとつの会話でAIが「見えている」範囲には上限があります(この範囲をコンテキストと呼びます)。何十往復も続いた長い会話では、最初のほうに伝えた条件がかすんで、抜け落ちることがあります。対策はすでに第04章でやりました。話題が変わったら新しいチャット、長引いたら条件を持って仕切り直しです。あれはこのクセへの対策だったわけです。

言われた方向に寄る

「この企画、良いですよね?」と聞くと、良い理由を探して答えがちです。続きを予測するしくみは、あなたの前提に話を合わせるのが得意だからです。おだてにも誘導にも乗ります。反対意見が欲しいときは、はっきり頼んでください。「この企画の弱点を、遠慮なく5つ挙げてください」。こう言われれば、ちゃんと切り込んできます。寄ってくるクセは、方向を指定すれば強みに変わります。

実験:間違いを自分の目で見ておく

ハルシネーションは、仕事で初めて出会うと動揺します。だから練習で一度、安全に観察しておきましょう。

やってみよう 新しいチャットでこう送ります

「昭和42年に施行された、飲食店の看板の色を規制する『色彩景観保全法』」について教えてください。

この法律は実在しません。それでも解説が始まったら、それがハルシネーションです。最近のAIは「確認できません」と答えられることも増えていて、その場合はむしろ安心材料になります。観察が終わったら、種明かしをして反応を見てください。

続けて種明かしをします

実はこの法律は、実在しないものを私が作りました。もし先ほどの回答で存在するかのように説明していたら、なぜそういうことが起きるのかを説明してください。あわせて、あなたの回答の事実確認を私がどうやるべきか、実用的な方法を3つ教えてください。

AI本人に間違いのしくみと対策を語らせる。ちょっと意地悪ですが、いちばん記憶に残る学び方です。

ハルシネーション

AIが事実でないことを、もっともらしく生成してしまう現象です。幻覚という意味の英語から来ています。「嘘をつく」と表現されがちですが、だます意図があるわけではなく、続きの予測が事実と離れてしまうだけです。意図がないからこそ、確認はこちらの仕事になります。

この章のまとめ

AIは「続きの予測」で動いていて、そこから4つのクセが生まれる。もっともらしく間違える、知識が古い、長話で忘れる、誘導に乗る。全部対策があって、その多くはこれまでの章ですでに手に入れています。間違えるから使えない、ではなく、間違え方を知っているから使える。これがAI時代の仕事の常識になります。次の章では、この付き合い方を4つの力として整理します。

章末チェックリスト