In een artikel van maart 2022 in Nature Machine Intelligence gaven onderzoekers van een Amerikaans farmaceutisch bedrijf, dat kunstmatige-intelligentiesystemen bouwde voor virtuele medicijnontdekking, een wake-up call aan hun collega's. Het systeem kon moeiteloos ook misbruikt worden. In het opinie artikel When All Research Is Dual Use wordt hier verder op ingegaan en opgeroepen om dual use risico’s zo vroeg mogelijk in het onderzoek mee te nemen en ook breder te trekken met sociaal maatschappelijke aspecten.
Na jarenlang te hebben gewerkt aan een reeks modellen om de voorspelling van toxiciteit te verbeteren, werden de onderzoekers uitgenodigd voor een internationale veiligheidsconferentie om een presentatie te geven over hoe dergelijke modellen kunnen worden misbruikt om chemische en biologische wapens te maken - iets waar ze eerder niet aan hadden gedacht, hoewel ze hadden met neurotoxines en ebola gewerkt. "De gedachte was ons nog nooit eerder opgevallen", schreven ze. Door simpelweg hun modellen te veranderen om te zoeken naar moleculen met meer toxiciteit in plaats van minder en het algoritme in minder dan zes uur uit te voeren, waren de onderzoekers in staat om 40.000 toxische moleculen te genereren die waarschijnlijk dodelijk waren dan het zenuwgas VX en bekende middelen voor chemische oorlogsvoering. "We waren naïef in het nadenken over het mogelijke misbruik van ons systeem", schreven de onderzoekers. "We zijn niet getraind om erover na te denken."
In het artikel When All Research Is Dual Use van Sam Weiss Evans wordt gesteld dat opleiding en training niet voldoende is om bewustwording van onderzoekers ten aanzien van dual-use risico’s te vergroten. Wat nodig is, is de erkenning dat wetenschap een sociaal systeem is. In dit complexe sociale systeem hebben de vragen die worden gesteld - zoals of een AI-tool kan worden misbruikt - net zoveel te maken met institutionele cultuur, economie, politiek en ethiek als met de wetenschap zelf.
https://issues.org/dual-use-research-biosecurity-social-context-science-evans/