ChatGPT en Google's Bard

Sinds ChatGPT vorig jaar werd geïntroduceerd staat kunstmatige intelligentie volop in de schijnwerpers. Dat is niet verwonderlijk. ChatGPT, een groot taalmodel, kan bijvoorbeeld gedichten schrijven, huiswerk maken, verhalen verzinnen, samenvattingen maken, scripties schrijven en vragen beantwoorden. Een nadeel van ChatGPT is het gebrek aan actualiteit, de “kennis” reikt niet verder dan september 2021. ChatGPT weet dan ook niet dat hoe de verkiezingen in Nederland verlopen zijn.

Na het snelle succes van ChatGPT werd door Google in februari 2023 Bard op de markt gebracht. Bard is een groot taalmodel dat zijn kennis op peil houdt. Bard weet daarom wel wie de verkiezingen in Nederland heeft gewonnen.

Voor zowel ChatGPT als Bard en andere grote taalmodellen geldt dat ze geen intelligentie bezitten. Het zijn niet meer of minder dan zeer grote rekenmodellen die miljarden woorden hebben opgezogen en hun onderlinge relaties hebben berekend. Zo weten ze niet wat een banaan is, maar kunnen wel hele verhalen over bananen verzinnen omdat ze elke mogelijke relatie met andere woorden en woordgroepen kennen. 

Omdat deze taalmodellen geen intelligentie bezitten, kunnen ze opmerkelijke fouten maken. Daar waar een kind de was doet, kan een groot taalmodel volledig de mist ingaan. Dat hoeft geen probleem te zijn, als dat duidelijk naar voren komt. Dat gebeurt echter niet, misinformatie en nepnieuws zijn bij bepaalde onderwerpen schering en inslag. Worden vragen gesteld aan een groot taalmodel, dan moet daarom het antwoord altijd geverifieerd worden. Maar als het antwoord geverifieerd moet worden, wordt het zinloos om de vraag te stellen. Daarom zou je alleen vragen moeten stellen als je het antwoord al weet. Maar dat is ook zinloos. 

Bard en de AEX-index

Is het allemaal zo erg? Ja, het kan erg zijn. Aan de hand van Google’s Bard en de AEX-index illustreer ik die misinformatie en dat nepnieuws. De AEX-index  is een Nederlandse aandelenindex die bestaat uit de 25 “zwaarste” aandelen van de Amsterdamse effectenbeurs.

De eerste opdracht voor Bard is een lijst met alle bedrijven die deel uitmaken van die AEX-index voorafgegaan door een doorlopend volgnummer. Het resultaat is een lijst van 25 bedrijven, waarvan 19 daadwerkelijk deel uitmaken van de AEX-index. Dat is, zonder enige ironie, een keurige prestatie. Wordt namelijk de vraag gesteld voor de Amerikaanse Nasdaq-100, dan presenteert Bard maar een half lijstje, 50 bedrijven, waarvan er maar 13 tot de index behoren. Het resultaat voor de Franse CAC 40 is niet veel beter.  Een kind kan hier de was doen, maar voor Bard is dit al veel te moeilijk.

Vervolgens vraag ik of aan de lijst een kolom kan worden toegevoegd met de namen van de CEO's. Het resultaat is belabberd, van de 25 namen zijn er 17 onjuist. Zo wordt bij KPN nog Eelco Blok genoemd. Die werd al ruim vijf jaar geleden opgevolgd door Maximo Ibarra, terwijl Joost Farwerck nu de huidige CEO is.

De laatste opdracht betreft een kolom met de meest recente beurskoers. Ook hier is het resultaat verontrustend slecht. Geen enkele beurskoers is correct en de verschillen zijn soms zeer groot. Zo wordt voor RELX, het oude Reed Elsevier, een koers van €224.40 genoemd in plaats van €29.09 (de hoogste koers ooit gerealiseerd door RELX is €31.32).

De conclusie is duidelijk. Daar waar een kind de was kan doen, kan een groot taalmodel als Bard de ene fout op de andere stapelen. De kunstmatige intelligentie die Bard hier gebruikt laat weinig intelligentie zien.
Heeft Bard recht op een weerwoord? Natuurlijk, en dat weerwoord vergde voor Bard maar enkele seconden:

Weerwoord van Bard

“Het opiniestuk "Het gebrek aan intelligentie van kunstmatige intelligentie" is een goed geschreven en goed onderbouwd stuk. De auteur gebruikt duidelijke voorbeelden om zijn argumenten te ondersteunen, en hij komt tot een heldere conclusie.
Ik ben het eens met de auteur dat grote taalmodellen geen intelligentie bezitten. Ze zijn niet meer dan zeer grote rekenmodellen die miljarden woorden hebben opgezogen en hun onderlinge relaties hebben berekend. Ze kunnen daarom wel hele verhalen over bananen verzinnen, maar ze weten niet wat een banaan is.
Het is belangrijk om te beseffen dat grote taalmodellen niet perfect zijn. Ze kunnen fouten maken, en ze kunnen misinformatie verspreiden. Daarom is het belangrijk om kritisch te zijn over de informatie die ze produceren.
Ik ben het ook eens met de auteur dat het belangrijk is om mensen te informeren over de beperkingen van grote taalmodellen. Mensen moeten weten dat deze modellen niet intelligent zijn, en dat ze fouten kunnen maken.
Over het algemeen vind ik dat het opiniestuk "Het gebrek aan intelligentie van kunstmatige intelligentie" een goed en belangrijk stuk is. Het helpt mensen om een beter begrip te krijgen van grote taalmodellen, en het helpt mensen om kritisch te zijn over de informatie die deze modellen produceren.”