Ai ai ai

Bij het Amsterdam UMC nemen ze de wetenschap en AI kennelijk niet serieus. Anders kunnen we niet verklaren wat voor lauwe reactie wij kregen op het nieuws dat het artikel Artificial intelligence to enhance hemodynamic management in the ICU door de hoofdredacteur van Intensive Care Medicine is ingetrokken omdat hij de inhoud van het artikel niet meer vertrouwt. GeenStijl schreef al eerder over dat artikel, waarvan professor Alexander Vlaar van het Amsterdam UMC de hoofdauteur is, omdat het vol zat met door AI gehallucineerde verwijzingen naar niet-bestaande artikelen. Dat zou volgens het Amsterdam UMC juist helemaal in orde komen omdat er een "correctie met de juiste verwijzingen" is ingediend. Het resultaat van die correctie is nu dus dat het complete artikel is ingetrokken omdat het niet betrouwbaar is.

We gaan die slappe hap van het Amsterdam UMC even kloosrieden hoor. 

Het Amsterdam UMC schrijft: "We zien dat de editor en uitgever hebben bevestigd dat de onjuistheden in de referentielijst het gevolg zijn van een opmaakfout, ontstaan door het gebruik van AI bij de opmaak van de referenties, zoals toegestaan volgens de richtlijnen van het tijdschrift."

Nou dat zien wij helemaal niet. De editor en uitgever schrijven: "Additionally, concerns were raised that many of the listed references could not be verified in the scientific record. The authors have stated that these non-existent references resulted from the use of generative AI to convert the PubMed IDs of cited articles into a structured reference list. They have provided timestamped files to demonstrate this." Daar staat dus alleen dat de auteurs zeggen dat dit door AI komt, en dat ze bestanden hebben gestuurd om dit te aan te tonen. Dat betekent nog niet dat de editor en uitgever deze lezing bevestigen, de editor en de uitgever hebben namelijk besloten om het artikel in te trekken. 

Gelukkig is er een eenvoudige oplossing om te kijken of die bestanden echt aantonen dat de verwijzingen eigenlijk naar andere artikelen waren, met de corresponderende PubMed IDs: maak ze openbaar. Dat heeft GeenStijl tot twee keer toe aan het Amsterdam UMC gevraagd, maar tot twee keer toe heeft een voorlichter dat geweigerd. Ze zegt dat de reactie, die wij nu aan het kloosrieden zijn, het enige is wat het instituut kwijt wil over deze kwestie. 

"Zoals eerder aangegeven is er geen gebruik van AI geweest buiten wat toegestaan is door het tijdschrift. De auteurs zijn het om die reden niet eens met de keuze om het artikel terug te trekken omdat een publicatie van een correctie een passende reactie zou zijn. Dit is echter een beslissing van de redactie omdat, zoals zij aangeven, het review proces niet juist is doorlopen."

Ja duh. Tijdens dat reviewproces heeft niemand heeft gezegd HEE DEZE ARTIKELEN WAAR NAAR WORDT VERWEZEN BESTAAN HELEMAAL NIET. Nogal wiedes dat je concludeert dat dat proces niet goed is verlopen.

"Dit ligt echter buiten de invloedssfeer van de auteurs."

Oh wacht. Dit totale prutswerk vanwege een enorme fout van de auteurs, is 'buiten de invloedssfeer van de auteurs'. Het is zeker de schuld van AI...

"Wat ons betreft laat deze situatie vooral zien dat, alhoewel toegestaan, het gebruik van AI bij het schrijven, reviewen en publiceren van wetenschappelijke artikelen tot onverwachte fouten kan leiden. En dat zowel auteurs, reviewers als uitgevers moeten leren omgaan met de toepassing van deze nieuwe technologie."

Wat de editor en uitgever ook zeggen, en waar het Amsterdam UMC niet op ingaat, is: "As a result, the Editor-in-Chief no longer has confidence in the reliability of the contents of the article." Oftewel: de hoofdredacteur van het tijdschrift Intensive Care Medicine vertrouwt DE INHOUD van het werk van professor Alexander Vlaar niet. Maar het Amsterdam UMC kennelijk wel. Een geruststellende gedachte.

Dat is: wat AI zou doen

Hé maar dit is gek. Bij de pagina van een artikel over het gebruik van AI, artificial intelligence, in ons favoriete tijdschrift over Intensive Care, namelijk Intensive Care Medicine, staat sinds dinsdag een bijzondere melding. "Readers are alerted that concerns regarding the presence of nonexistent references have been raised. Appropriate Editorial actions will be taken once this matter is resolved." En dat is wel grappig. Want verwijzen naar niet bestaande artikelen is nou precies wat AI zou doen (cf. Charlotin, 2025). 

Nou willen wij natuurlijk niet beweren dat professor Alexander Vlaar van het Amsterdamse universitair Medisch Centrum AI heeft gebruikt om een stuk over AI te schrijven, maar wij waren wel benieuwd waar professor Alexander Vlaar de artikelen waar hij naar verwijst had gevonden. De artikelen waar onder noot 1, 3, 4, 6, 8, 10, 11, 12, 13 en 14 wordt verwezen lijken namelijk helemaal niet te bestaan. Dat zijn 10 van de 15 verwijzingen. Dat is geen klein slordigheidsfoutje meer, dat is gewoon keihard hallucineren. En oh ja, bij verwijzing 2 staat het jaartal verkeerd. Verwijzing 9 klopt wel, maar dat is dan weer een verwijzing naar een artikel waar professor Vlaar zelf aan heeft meegeschreven.

GeenStijl heeft het Amsterdam UMC om commentaar gevraagd, dat laat weten: "Amsterdam UMC was door de auteur al op de hoogte gesteld van onjuistheden in de referentielijst. Het artikel is opgesteld zonder gebruik van AI. Alleen voor de uiteindelijke opmaak is gebruikgemaakt van LLM (Large Language Model). Dit is conform de richtlijnen van het tijdschrift, volgens diezelfde richtlijnen hoeft dit niet vermeld te worden. Hierbij zijn helaas fouten in de referentielijst ontstaan, die bij de eindcontrole niet zijn opgemerkt. Dat had uiteraard niet mogen gebeuren. Een correctie met de juiste referenties is bij het tijdschrift ingediend. Dit voorval benadrukt voor ons het belang van zorgvuldigheid bij het gebruik van AI en het kritisch controleren van het eindresultaat."

Kan gebeuren natuurlijk, dat er opeens niet-bestaande artikelen worden verzonnen als je AI de """uiteindelijk opmaak""" van je stuk laat doen. Nou ja, wat """professor Vlaar en zijn twee co-auteurs""" in hun laatste alinea schrijven dus: "In conclusion, while AI holds immense promise for transforming hemodynamic monitoring, succesful integration into clinical practice requires thorough validation, regular updates to ensure ongoing accuracy, integration into existing healthcare infrastructure and a focus on improving clinical outcomes." Je zou haast zeggen: doe even wat validation en ongoing accuracy als je AI je wetenschappelijk artikel laat """opmaken""". 

En wat voor straffen bestaan er eigenlijk voor professors die AI gebruiken als dat niet de bedoeling is? Worden die ook voor vakken uitgesloten? Het Amsterdam UMC wilde aan GeenStijl in ieder geval niets laten weten over eventuele maatregelen tegen ChatGPT en/of professor Vlaar. Nu maar hopen dat ze daar het eindresultaat van hun operaties wél kritisch controleren.