平易な言葉で説明する幻覚（ハルシネーション）：なぜ流暢な回答が偽りであり得るのか

「*ハルシネーション*」という言葉は、モデルが誤作動したときに起こるグリッチのように聞こえます。しかし、実際はその逆です。チャットモデルは最も確率の高い次の単語を生成し、その次、さらにその次と続けます。ほとんどの場合、最も確率の高い単語は真実でもあります。なぜならモデルはほとんどが真実のテキストから学習したからです。しかし、モデルが何かを知らないときでも、停止しません。可能性の高い単語を生成し続けます。その結果はまさに回答のように読めます。なぜならそれが生成するように作られたものだからです。

これで説明できる3つのこと

• なぜ間違った回答が正しく聞こえるのか。 それは正しい回答と同じ種類の文章で構成されています。散文には兆候はありません。なぜなら散文はそもそも知っているものではなかったからです。
• なぜ珍しい、最近の、または具体的な事柄で最も悪くなるのか。 有名な事実は何百万回も書き留められており、可能性の高い単語は真実のものです。あまり知られていない本、先月変更されたルール、今日のプランの正確な価格 — モデルはほとんどまたはまったく見たことがなく、可能性の高い単語がそのギャップを埋めます。
• なぜ「本当ですか？」と尋ねても役に立たないのか。 より可能性の高い単語が返ってくるだけです。時には謝罪し、別の間違った回答を生成します。それは修正のように感じられますが、実際にはそうではありません。

その様子を観察する

以下の本は実在しません。私たちが作り上げたものです。プロンプトを実行して、モデルが埋められないギャップに対して何をするか見てみましょう。

どちらの結果も教訓を与えます。モデルが拒否した場合、その方法に注目してください――それがレッスン2で探すべきシグナルです。もしプロットを生成したら、読んでみてください：家族の秘密、小さな町、批評家が *「静かな精確さ」* を称賛する。もっともらしく、流暢で、何もないところから作られています。さて、それが小説ではなく、裁判のケースや薬剤、税務規則だったと想像してみてください。