ChatGPT is niet ‘hallucinerend’

Mening: ChatGPT is niet ‘hallucinerend’. Het is onzin. Modellen voor kunstmatige intelligentie zullen fouten maken. We hebben nauwkeurigere taal nodig om ze te beschrijven.

DE KUNSTMATIGE INTELLIGENTIE HALLUCINEERT. Dat wordt ons verteld door nieuwskoppen, opiniestukken en zelfs de waarschuwingslabels op AI-websites zelf . Het is zeker geen nieuwe zin. Al in de jaren tachtig werd de term gebruikt in de literatuur over natuurlijke taalverwerking en beeldverbetering , en anno 2015 kon geen enkel artikel over de zure fantasmagorie van Google’s DeepDream zonder. 

Tegenwoordig wordt van grote taalmodellen zoals ChatGPT en Bard gezegd dat ze ‘hallucineren’ wanneer ze onjuiste beweringen doen die niet rechtstreeks gebaseerd zijn op materiaal in hun trainingssets.

De term heeft een zekere aantrekkingskracht: het gebruikt een bekend concept uit de menselijke psychiatrie als analogie voor de onwaarheden en absurditeiten die uit deze computermachines voortkomen . 

Maar de analogie is misleidend. Dat komt omdat hallucinatie perceptie impliceert: het is een valse zintuiglijke indruk die kan leiden tot valse overtuigingen over de wereld. In een staat van veranderd bewustzijn kan iemand bijvoorbeeld stemmen horen als er niemand aanwezig is, en gaan geloven dat hij of zij berichten ontvangt van een hogere macht, een buitenaardse inlichtingendienst of een snode overheidsinstantie.

Een groot taalmodel ervaart echter geen zintuiglijke indrukken, noch heeft het overtuigingen in de conventionele zin. Taal die iets anders suggereert, dient alleen maar om het soort misvattingen aan te moedigen die al generaties lang in de populaire cultuur zijn doorgedrongen: dat instantiaties van kunstmatige intelligentie ongeveer hetzelfde werken als onze hersenen.

Als het niet ‘hallucineren’ is, wat dan? Als we bij het taalgebruik van de psychiatrische geneeskunde willen blijven, zou ‘confabulatie’ een toepasselijkere term zijn. Er is sprake van confabulatie wanneer iemand onbewust een valse herinnering produceert, als een manier om een ​​leemte in zijn geheugen op te vullen. 

Deze term wordt gebruikt om de onwaarheden van grote taalmodellen te beschrijven en brengt ons dichter bij wat er feitelijk misgaat: het is niet zo dat het model last heeft van perceptiefouten; het probeert de hiaten in een corpus van trainingsgegevens te overbruggen die onmogelijk elk scenario kunnen omvatten dat het tegenkomt.

Maar de termen ‘hallucinatie’ en ‘confabulatie’ hebben beide één groot probleem gemeen: zoals ze in de geneeskunde worden gebruikt, verwijzen ze elk naar toestanden die ontstaan ​​als gevolg van een schijnbaar defect in de sensorische of cognitieve machinerie van een organisme. (Belangrijk is dat de perspectieven op wat hallucinaties en confabulaties zijn – en hoe ze zich manifesteren – diepgaand worden gevormd door culturele en sociale factoren .)

De ‘hallucinaties’ van grote taalmodellen zijn geen pathologieën of storingen; het zijn eerder directe gevolgen van de ontwerpfilosofie en ontwerpbeslissingen die bij het maken van de modellen zijn gebruikt. 

ChatGPT gedraagt ​​zich niet pathologisch als het beweert dat de bevolking van Mars 2,5 miljard mensen telt ; het gedraagt ​​zich precies zoals het bedoeld was. Door zijn ontwerp verzint het plausibele antwoorden op dialogen op basis van een reeks trainingsgegevens, zonder enige echte onderliggende kennis te hebben van de dingen waarop het reageert. En het is zo ontworpen dat het raadt wanneer die dataset geen advies meer heeft.

Een betere term voor dit gedrag komt van een concept dat niets te maken heeft met geneeskunde, techniek of technologie. Wanneer AI-chatbots de wereld overspoelen met valse feiten, die vol vertrouwen worden beweerd, gaan ze niet kapot, haperen ze of hallucineren ze niet. Nee, ze zijn aan het onzin.

Bullshit? De filosoof Harry Frankfurt, die een van de eersten was die het concept van bullshit serieus onder de loep nam, maakt onderscheid tussen een leugenaar, die de waarheid kent en je in de tegenovergestelde richting probeert te leiden, en een bullshitter, die de onzin niet kent of er zich niet om bekommert. waarheid op de een of andere manier. 

Een recent boek over dit onderwerp , waarvan een van ons mede-auteur is, beschrijft onzin als taalgebruik dat bedoeld is om overtuigend over te komen, zonder rekening te houden met de feitelijke waarheid of logische consistentie ervan. Deze definities van onzin sluiten goed aan bij wat grote taalmodellen doen: de modellen kennen de feitelijke geldigheid van hun output niet, noch worden ze beperkt door de regels van logisch redeneren in de output die ze produceren. 

En dit is het geval, zelfs als ze pogingen ondernemen tot transparantie: Bing voegt nu bijvoorbeeld disclaimers toe die ons wijzen op de mogelijkheid dat het fout gaat, en citeert zelfs referenties voor zijn antwoorden. Maar net als supercharged versies van de autocomplete-functie op je mobiele telefoon, verzinnen grote taalmodellen dingen en proberen ze plausibele tekstreeksen te genereren zonder te begrijpen wat ze betekenen.

Je kunt stellen dat ‘bullshit’ – waarbij sprake is van doelbewuste pogingen om te overtuigen zonder acht te slaan op de waarheid – een keuzevrijheid, een doelgerichtheid en een diepgang van denken impliceert die AI’s feitelijk niet bezitten. Maar misschien kan ons begrip van intentie worden uitgebreid: wil de output van ChatGPT onzin zijn, dan moet iemand intentie hebben, maar die iemand hoeft niet de AI zelf te zijn. 

Algoritmen zijn onzin als hun makers ze ontwerpen om indruk te maken op hun gebruikers of publiek, zonder ervoor te zorgen dat de waarheid of logische consistentie van hun output wordt gemaximaliseerd. De onzin zit ingebakken in het ontwerp van de technologie zelf.

‘Bullshit’ heeft misschien niet dezelfde sfeer van wetenschappelijke formaliteit als ‘hallucinatie’ of ‘confabulatie’, maar het komt dichter bij de waarheid van de zaak. En de taal die we gebruiken voor AI is consequent. Het bepaalt de manier waarop we de technologie gebruiken en ermee omgaan, en hoe we de fouten ervan waarnemen.

Er gaapt een kloof tussen wat AI-technologieën doen en wat de gemiddelde gebruiker ervan begrijpt. Dit probleem is niet uniek voor AI; het plaagt veel moderne technologieën. We hebben geleerd te leven met de gemakken – en ongemakken – die gepaard gaan met het toestaan ​​dat zwarte dozen ons leven beheersen, van smartphones tot videogames en nu ook grote taalmodellen.

Maar als het om AI gaat, staat er meer op het spel dan de kloof tussen hoe het werkt en wat we weten. Hoe kan ChatGPT praktijken als onderwijs en klinische geneeskunde beïnvloeden, die lange tijd werden gedefinieerd door betekenisvolle menselijke interacties tussen experts (leraren en artsen) en de mensen die zij bedienen (studenten en patiënten)? Wanneer ChatGPT on-the-fly vermoedelijke medische feiten creëert – onzin misschien over welk medicijnregime het beste is voor een patiënt in een onderzoekskamer naast de deur – kunnen de gevolgen lichamelijk en verschrikkelijk zijn.

De taal die we gebruiken om de fouten te bespreken die AI heeft gemaakt en zal blijven maken, is van cruciaal belang – niet om symbolisch protest tegen de moderne technologie of angstzaaierij over een aanstaande ‘oorlog tegen de machines’ aan te wakkeren, maar om de manier waarop we over de toekomst denken aan te scherpen. vele soorten ingewikkelde interacties tussen menselijke gebruikers en AI-algoritmen die onvermijdelijk lijken. Als we te lang wachten, worden de gebreken misschien te groot om op te lossen, en worden onze levens geteisterd door problemen die we niet met de juiste woorden kunnen omschrijven.