쉬운 말로 설명하는 할루시네이션: 유창한 답변이 왜 거짓일 수 있는가

*할루시네이션*이라는 단어는 마치 결함처럼 들리게 만듭니다 — 모델이 오작동할 때 발생하는 무언가처럼요. 하지만 그것은 오히려 반대에 가깝습니다. 채팅 모델은 가장 가능성 높은 다음 단어를 생성하고, 그 다음, 그 다음을 생성합니다. 대부분의 경우 가장 가능성 높은 단어는 또한 사실인 단어입니다. 모델이 대체로 사실인 텍스트에서 학습했기 때문입니다. 하지만 모르는 것이 있을 때도 멈추지 않습니다. 계속해서 가능성 높은 단어를 생성합니다. 결과는 정확히 답변처럼 읽힙니다. 그것이 생성하도록 만들어진 것이기 때문입니다.

이것이 설명하는 세 가지

• 왜 틀린 답변이 옳게 들리는가. 그것은 옳은 답변과 같은 종류의 문장으로 구성되어 있습니다. 산문에는 단서가 없습니다. 산문은 결코 아는 것이 아니었기 때문입니다.
• 왜 드물거나, 최근이거나, 구체적인 것에서 가장 나쁜 결과를 보이는가. 유명한 사실은 수백만 번 기록되어 가능성 높은 단어가 사실인 단어입니다. 잘 알려지지 않은 책, 지난달에 변경된 규칙, 오늘의 플랜의 정확한 가격 — 모델은 거의 또는 전혀 보지 못했으며, 가능성 높은 단어가 그 공백을 채웁니다.
• "확실해?"라고 묻는 것이 왜 도움이 되지 않는가. 더 가능성 높은 단어를 얻을 뿐입니다. 때로는 사과하고 다른 틀린 답변을 생성하는데, 이는 수정처럼 느껴지지만 실제로는 그렇지 않습니다.

하나가 발생하는 것을 지켜보세요

아래 책은 실제로 존재하지 않습니다. 저희가 지어낸 책입니다. 프롬프트를 실행하고 모델이 채울 수 없는 공백에 대해 어떻게 반응하는지 확인해 보세요.

두 결과 모두 교훈을 줍니다. 모델이 거절했다면 어떻게 했는지 주목하세요 — 그것이 여러분이 2과에서 찾아볼 신호입니다. 모델이 줄거리를 만들어냈다면 읽어보세요: 가족의 비밀, 작은 마을, *'조용한 정밀함'*을 칭찬하는 평론가. 그럴듯하고 유창하지만 아무것도 없이 만들어진 것입니다. 이제 이것이 소설 대신 법정 사건, 의약품 또는 세금 규정이었다고 상상해 보세요.