Hallucinaties in gewone woorden: waarom een vloeiend antwoord onjuist kan zijn.

Het woord *hallucinatie* laat het klinken als een storing — iets dat gebeurt wanneer het model malfunctioneert. Het is eerder het tegenovergestelde. Een chatmodel produceert het meest waarschijnlijke volgende woord, dan het volgende, dan het volgende. Meestal zijn de meest waarschijnlijke woorden ook de ware, omdat het model heeft geleerd van tekst die meestal waar was. Maar wanneer het iets niet weet, stopt het niet. Het blijft waarschijnlijke woorden produceren. Het resultaat leest precies als een antwoord, want dat is wat het is gebouwd om te produceren.

Drie dingen die dit verklaart

• Waarom het foute antwoord juist klinkt. Het is opgebouwd uit dezelfde soort zinnen als een juist antwoord. Er zit geen verraad in het proza, want het proza was nooit het ding dat het wist.
• Waarom het het slechtst is bij dingen die zeldzaam, recent of specifiek zijn. Een beroemd feit is een miljoen keer opgeschreven en de waarschijnlijke woorden zijn de juiste. Een obscuur boek, een regel die vorige maand is gewijzigd, de exacte prijs van een plan vandaag — het model heeft weinig of niets gezien, en waarschijnlijke woorden vullen de leemte.
• Waarom vragen "weet je het zeker?" niet helpt. Je krijgt meer waarschijnlijke woorden. Soms biedt het excuses aan en produceert het een ander fout antwoord, wat aanvoelt als een correctie maar dat niet is.

Zie er een gebeuren

Het onderstaande boek bestaat niet. We hebben het verzonnen. Voer de prompt uit en zie wat het model doet met een gat dat het niet kan vullen.

Beide uitkomsten leren de les. Als het model weigerde, let dan op hoe het dat deed — dat is het signaal waar je in les 2 op leert letten. Als het een plot produceerde, lees het dan: een familiegeheim, een klein stadje, een criticus die de *"stille precisie"* prijst. Aannemelijk, vloeiend en van niets gemaakt. Stel je nu voor dat het een rechtszaak, een medicijn of een belastingregel was in plaats van een roman.