Recent onderzoek laat zien dat AI-systemen overtuigend foutieve medische informatie kunnen verspreiden. In een experiment werd een volledig verzonnen ziekte ”bixonimania” beschreven in nepwetenschappelijke artikelen die op een pre-print server waren geüpload. Ondanks duidelijke aanwijzingen dat de ziekte niet echt was, citeerden andere wetenschappers de artikelen en namen verschillende AI-chatbots deze informatie over. De LLM’s/AI-systemen presenteerden de informatie over de “ziekte” als feitelijk correct. Wat betekent dit voor onderzoekers die AI gebruiken in hun werk?

Het scenario

Tijdens een verkennende analyse maak je gebruik van een AI-tool om snel en eenvoudig meer inzicht te krijgen in opkomende ziekten. De tool geeft je informatie over een recent beschreven, relatief onbekende ziekte, inclusief symptomen, ontstaan en mogelijke behandelingen. De beschrijving is gedetailleerd en wordt ondersteund door referenties. Je hebt nog nooit van deze ziekte gehoord en weet dat AI-systemen soms informatie, inclusief informatie over wetenschappelijke artikelen, verzinnen. Daarom doe je een controle: een korte online zoektocht levert je de pdf van het artikel op, dat dus niet gehallucineerd is door je AI-systeem. Ook andere wetenschappers lijken deze nieuwe ziekte serieus nemen en een ander AI-systeem geeft je dezelfde informatie over deze ziekte. Daarom neem je de ziekte op in je verkennende analyse.

Heb je zo voldoende gedaan om je AI-systeem te kunnen vertrouwen? 

Risico’s en handelingsperspectief

Als het hier om “bixonimania” gaat: nee. Bixonimania is een verzonnen ziekte die bedacht is om te onderzoeken of AI-systemen medische misinformatie kunnen herkennen. Twee artikelen over de verzonnen aandoening zijn geüpload naar een pre-print server (inmiddels zijn beide pre-prints offline gehaald). Binnen enkele weken namen AI-systemen de informatie over, ondanks dat er in de artikelen meerdere aanwijzingen stonden dat het niet om echte studies ging zoals de ’verzonnen individuen’ die deelnemers aan de studie waren of de zinsnede ‘dit hele artikel is verzonnen’.

In het algemeen geldt dat je wetenschappelijke informatie die een generatieve AI-/LLM-systeem genereert, moet controleren bij de bron (artikel, boek) zelf. AI-systemen kunnen overtuigend klinkende, maar onjuiste informatie genereren, overnemen, of informatie geven die vooral goed aansluit bij jouw zoektermen. Dit kan leiden tot verkeerde aannames in onderzoek en onjuiste risicobeoordelingen. In een biosecurity-context kan dit betekenen dat aandacht wordt gericht op niet-bestaande dreigingen, terwijl daarnaast wellicht de aandacht verschuift van reële risico’s.

Daarnaast dien je je bewust te zijn dat er een risico bestaat dat misleidende informatie opzettelijk wordt geïntroduceerd in het wetenschappelijke systeem, met als doel AI-systemen en onderzoekers bewust te beïnvloeden. Dit kan leiden tot verdere verspreiding van desinformatie. In het geval van bixonimania zorgde de bewust geïntroduceerde medische misinformatie ervoor dat meerdere AI-systemen dezelfde misinformatie verspreidden, wat bijdroeg aan de schijnbare betrouwbaarheid van de informatie. De artikelen over bixonimania waren bedoeld om de verspreiding van medische misinformatie te onderzoeken, maar kwaadwillenden kunnen via dezelfde methode bijvoorbeeld desinformatie verspreiden.

Om deze risico’s te beperken is het belangrijk om AI-gegenereerde informatie niet als primaire bron te gebruiken. LLM’s kunnen dienen als hulpmiddel om snel een eerste verkenning en overzicht te creëren, je op weg te helpen en samenvattingen van je onderzoeksvraag te bieden, en zo als uitgangspunt voor verder onderzoek te fungeren. Verifieer altijd of informatie terug te vinden is in betrouwbare, peer-reviewed literatuur, controleer of bronnen daadwerkelijk bestaan en blijf alert op eenzijdig denken. 

Binnen je onderzoeksteam kunnen afspraken worden gemaakt over het gebruik van AI-tools, bijvoorbeeld door richtlijnen op te stellen voor verificatie en brongebruik. Training, ervaring en bewustwording kunnen helpen om kritisch gebruik te stimuleren. 

Indien foutieve informatie wordt aangetroffen of gebruikt, is het belangrijk om dit te corrigeren en  te delen, zodat verdere verspreiding wordt voorkomen. Informeer je teamleden, maar ook de editor van het journal of platform waar je de foutieve informatie hebt gevonden. Evaluatie van dergelijke situaties kan helpen om processen te verbeteren en de betrouwbaarheid van onderzoek te waarborgen.

Tot slot is het belangrijk om te blijven investeren in een robuust peer review proces voor wetenschappelijke literatuur en in de replicatie van wetenschappelijke bevindingen. Individuele onderzoekers kunnen daar onder andere aan bijdragen door alert te zijn op mogelijke mis- of desinformatie bij het reviewen van artikelen en door zowel oorspronkelijk als verificatieonderzoek te citeren in eigen publicaties. Zoals onderzoeker gezondheidsmisinformatie Alex Ruani (University College London) stelt in het artikel over bixonimania: ‘Dit [onderzoek naar de verspreiding van medische misinformatie-red.] is een masterclass in hoe mis- en desinformatie werken.’ Het is belangrijk om mis- en desinformatie in de wetenschap tegen te gaan, zodat LLM’s deze niet kunnen verspreiden en daarmee het vertrouwen in de wetenschap ondermijnen. Ruani: ‘We moeten ons vertrouwen [in de wetenschap-red] bewaken alsof het goud is’. 

https://www.nature.com/articles/d41586-026-01100-y

Meer weten of jouw scenario delen?
Wil je graag met Bureau Biosecurity verder praten over dit scenario of loop je zelf tegen een biosecurity scenario aan die je graag zou willen delen met vakgenoten, laat het ons weten! Bureau Biosecurity is te bereiken via biosecurity@rivm.nl.