用通俗的话解释幻觉：为什么流畅的答案可能是错误的

单词*幻觉*听起来像是一个故障——当模型发生故障时发生的事情。但它更接近相反的情况。聊天模型产生最有可能的下一个词，然后下一个，然后下一个。大多数时候，最有可能的词也是真实的词，因为模型从大部分真实的文本中学习。但当它不知道某些事情时，它不会停止。它继续产生可能的词。结果读起来完全像一个答案，因为这就是它被构建来产生的东西。

这解释了三件事

• 为什么错误的答案听起来正确。 它由与正确答案相同类型的句子组成。散文中没有迹象，因为散文从来就不是知道的东西。
• 为什么它在罕见、近期或具体的事情上表现最差。 一个著名的事实被写下一百万次，可能的词就是真实的词。一本冷门的书，上个月更改的规则，今天某个计划的确切价格——模型很少或根本没有见过，可能的词填补了空白。
• 为什么问“你确定吗？”没有帮助。 你会得到更可能的词。有时它会道歉并产生一个不同的错误答案，感觉像是一个纠正，但实际上不是。

观察一个发生

下面这本书并不存在。是我们凭空编造的。运行这个提示词，看看模型在它无法填补的空白面前会怎么做。

两种结果都能带来教训。如果模型拒绝了，注意它是怎么拒绝的——这就是你在第2课要学会寻找的信号。如果它写出了情节，读一读：一个家族秘密、一个小镇、一位评论家称赞其*“沉静的精准”*。合理、流畅，却空无一物。现在想象它是一起法庭案件、一种药物或一条税务规则，而不是一部小说。