Een stochastische papegaai

Google’s Bard is een groot taalmodel en behoort als zodanig tot de familie van kunstmatige intelligentie. Echter, net als elk ander lid van die familie, ontbreekt het Bard aan intelligentie. Het is niet meer of minder dan een groot wiskundig model dat de statistische verbanden kent tussen miljarden woorden na het lezen en verwerken van miljoenen tekstdocumenten. Je kan allerlei vragen stellen aan Bard en vaak lijkt het fraaie, overtuigende antwoord van een ware expert te komen. Aan de andere kant kan het antwoord ook volstrekt niet overtuigen, alsof het antwoord van een kleuter afkomstig is. Hoe is dat mogelijk?
Een interessant antwoord wordt gegeven in het onderzoeksartikel "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" van Emily M. Bender, Timnit Gebru, Angelina McMillan-Major en Shmargaret Shmitchell:
“Contrary to how it may seem when we observe its output, an LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot.”

Hoe oud is de koningin van Nederland

Laat ik een voorbeeld geven van zo’n ‘stochastic parrot’-antwoord aan de hand van een eenvoudige vraag voor Bard: 
Wat is op 17 mei 2023 de leeftijd van de koningin van Nederland in jaren en dagen? 
Het antwoord op die vraag is ook eenvoudig: de koningin is geboren op 17 mei 1971, ze is dus 52 jaar en 0 dagen oud op die datum. Bard heeft echter de grootste problemen met deze vraag; enkele antwoorden:

“Het antwoord is dus 52 jaar en 2 dagen.”
“Antwoord: 52 jaar en 18771,5 dagen.”
“Het antwoord is dus 52 jaar en 18880 dagen.”
“Het antwoord is dus 52 jaar en 18460 dagen.”
“Antwoord: 51 jaar en 51 dagen”
“Antwoord: 51 jaar en 365 dagen, ofwel 18.525 dagen.”
“Aangezien 17 mei 2023 een woensdag is, is de leeftijd van koningin Máxima op deze dag dus 52 jaar en 3 dagen.”

“Dus de koningin is op 17 mei 2023 52 jaar en 8,62 jaar, oftewel 52 jaar en 28 dagen oud.”

Kortom, Bard is zeer bekwaam in het genereren van onjuiste informatie. Is ChatGPT beter? Nee, ook dit taalmodel kan met gemak een stroom van incorrecte antwoorden geven bij een dergelijke vraag. 

51 jaar en 51 dagen

51 jaar en 51 dagen, wat is de aard van dergelijke onjuiste informatie? Is het desinformatie, misinformatie of iets anders?
Om deze vraag te beantwoorden, is het zinvol de aanwezige definities van misinformatie en desinformatie te beschouwen. Er zijn veel definities voorhanden, waaronder die van Dictionary.com, Cambridge Dictionary, Merriam-Webster, Collins English Dictionary, Google/Oxford Languages, Oxford English Dictionary, Wiktionary, Wikipedia, evenals die van de Raad van Europa in rapporten zoals "Dealing with Propaganda, Misinformation, and Fake News" en "The Impact of Disinformation on Democratic Processes and Human Rights Worldwide."

Desinformatie

Laten we beginnen met de definities voor desinformatie. Desinformatie wordt gedefinieerd als informatie die vals, misleidend, opzettelijk vooringenomen/gemanipuleerd of onnauwkeurig is en al of niet behorend tot propaganda, samenzweringstheorieën en/of geruchten. 
Verder worden als mogelijke doelstellingen genoemd: het beïnvloeden van de publieke opinie, het verhullen van de waarheid, bedriegen, verwarren, misleiden, schade veroorzaken, streven naar economisch gewin of openbare schade toebrengen. 
Al die verschillende definities laten in grote lijnen één gemeenschappelijke deler zien: desinformatie is valse informatie met als doel te misleiden in de meest ruime zin van het woord.
En ChatGPT, wat is zijn definitie van desinformatie? Ik heb tien keer om de definitie van desinformatie gevraagd en tien verschillende antwoorden gekregen. Bijvoorbeeld: "Valse, misleidende informatie met opzet verspreid om verwarring of schade te veroorzaken, vaak om de publieke opinie te beïnvloeden." Worden die tien antwoorden “gemiddeld”, dan zou het resultaat zijn: 
"Valse informatie die opzettelijk wordt verspreid om te misleiden" 
En dat komt min of meer overeen met de eerder genoemde gemeenschappelijke deler van de onderzochte definities. Deze consistentie is niet onverwacht, gezien de aard van een groot taalmodel.

Misinformatie

Het scala aan definities over misinformatie spreekt over informatie die onjuist, vals, misleidend, onnauwkeurig en/of incorrect is. Sommige definities voegen daar aan toe dat de onjuiste informatie mogelijk bedoeld is om te misleiden, terwijl andere definities juist specificeren dat er geen bedoeling is om te misleiden. Zo hanteert het Engelse artikel op Wiktionary de volgende definitie: "Information that is incorrect." Het Franse artikel voegt eraan toe dat er geen bedoeling is om te misleiden (“information erronée relayée de façon non intentionnelle”) en het Nederlandse artikel stelt dat beide mogelijk zijn (“al of niet opzettelijk verspreide foutieve informatie”). 
Wordt de vraag de nodige keren gesteld aan ChatGPT, dan is elk antwoord verschillend, maar de kern blijft hetzelfde, zoals dat naar voren komt in het eerste antwoord:
“Onjuiste informatie verspreid zonder opzet om te schaden, maar kan nog steeds verwarring en misleiding veroorzaken.”
Wordt de balans opgemaakt, dan is de gemeenschappelijke deler wel de “onjuiste informatie”. De meerderheid beperkt zich hiertoe, maar een kleine minderheid laat de mogelijkheid van opzet open.
Gezien de definitie van desinformatie, waar die misleiding juist centraal staat, geef ik de voorkeur aan varianten die verwijzen naar onjuiste informatie zonder de bedoeling om te misleiden.

Misleiding of niet?

De belangrijkste vraag is nu of de onjuiste informatie gegenereerd door Bard cs kan worden gecategoriseerd als misinformatie, desinformatie of iets anders. Mijn overtuiging is dat een uitgever van een groot taalmodel niet wil misleiden, er is dus geen sprake van desinformatie. Zou het misinformatie kunnen zijn? Ja, in eerste instantie wel, maar de situatie is gecompliceerd. De uitgever weet namelijk dat er te pas en te onpas valse informatie wordt geproduceerd en gaat er toch mee door. Zo presenteert ChatGPT in zeer kleine lettertjes aan de onderkant van het scherm:

“ChatGPT can make mistakes. Consider checking important information.”

Van hetzelfde laken een pak voor Bard:

“Bard may display inaccurate info, including about people, so double-check its responses”.

Er mag dan geen intentie zijn om te misleiden, de misleiding is er wel en de uitgever is zich daarvan bewust. Daarmee dekken misinformatie en desinformatie beide deels de lading, maar niet de hele lading. Geen enkele term dekt hier de lading, er is hier sprake van non-informatie.

Non-informatie

Waarom non-informatie? Informatie is de mogelijkheid om te informeren, voegt kennis toe, vermindert de onzekerheid. Een taalmodel zoals ChatGPT of Bard geeft altijd antwoord op een vraag, en dat antwoord kan correct of incorrect zijn. Er is echter geen indicatie of het antwoord juist of onjuist is. Daarom wordt niet geïnformeerd, wordt de onzekerheid niet verminderd; er is eenvoudig geen informatie, de gegeven antwoorden zijn non-informatie. 

De mening van Bard

Wat is de mening van Bard over dergelijke non-informatie producerende systemen? Ik stelde de volgende vraag: 
"Beschouw een website waar gebruikers allerlei vragen kunnen stellen. Elke vraag resulteert in een overtuigend antwoord. Dat antwoord kan zowel juist als onjuist zijn. Er is echter geen indicatie of het antwoord (on)juist is. De uitgever van de website erkent dat het systeem onjuiste angtwoorden kan genereren en geeft dat als zodanig aan in kleine lettertjes aan de onderkant van het scherm. Wat vind je van deze website, uitgedrukt in ongeveer 100 woorden?" 

In een paar seconden gaf ChatGPT een antwoord: 
“Ik vind deze website een gevaarlijk concept. Het idee dat gebruikers vragen kunnen stellen en overtuigende antwoorden krijgen, zonder enige indicatie of het antwoord juist of onjuist is, is zorgwekkend. Dit kan leiden tot het verspreiden van desinformatie en het nemen van verkeerde beslissingen.
Het is goed dat de uitgever van de website erkent dat het systeem onjuiste antwoorden kan genereren. Dit is echter niet genoeg. De website zou duidelijkere informatie moeten geven over de nauwkeurigheid van de antwoorden. Zo zou de website bijvoorbeeld een score kunnen geven aan de nauwkeurigheid van elk antwoord, gebaseerd op de kwaliteit van de data waarop het systeem is getraind.
Daarnaast zou de website gebruikers moeten aanmoedigen om hun eigen onderzoek te doen voordat ze beslissingen nemen op basis van de antwoorden van de website. Dit kan bijvoorbeeld door gebruikers te wijzen op andere bronnen die informatie over een bepaald onderwerp verstrekken.
In het algemeen denk ik dat deze website een risico vormt voor de samenleving. Het is belangrijk om kritisch te zijn over de informatie die we online vinden, en deze website maakt dat moeilijker.”