Artificiell intelligens (AI) har blivit mycket omdiskuterad. Rädslor och farhågor blandas med förhoppningar om vad AI kan åstadkomma. Kan de bli autonoma och utveckla sig själva, för att sedan fatta beslut utan moral eller sunt förnuft? Är de hjälpmedel för kunskapsinhämtning och mönsterigenkänning, och därmed något som kan hjälpa oss att ställa diagnos och fatta välgrundade beslut vid behandling av olika sjukdomar?
För att testa förmågan att sammanställa vetenskaplig litteratur gjorde jag ett högst ovetenskapligt experiment. Skulle AI-verktyget Chat GPT kunna uttala sig om risken att få djup ventrombos vid behandling med neuroleptika? Jag bad Chat GPT att söka i databaserna Medline och Scopus enligt följande:
»Gör en sökning i medicinsk facklitteratur om risken att få djup ventrombos (DVT) vid behandling med dopamin D2-blockerare (antipsykosmedel). Inkludera alla studier från år 1965. Sök i Medline och Scopus. Presentera resultatet i en tabell. Tabellen ska innehålla odds-ratio, konfidensintervall, antal individer som fick dopamin D2-blockerare, antal kontrollpersoner. Ange hel referens med länk till Pubmed för varje studie i tabellen i en referenslista. Skriv på engelska.«
På bara några sekunder spottar Chat GPT fram en fint formaterad tabell med referenslista. Här kan man läsa att risken för djup ventrombos vid neuroleptikabehandling är ökad och att OR (oddskvoten) varierar mellan 1,36 och 2,63.
Tabellen visar dock något förvånande att samtliga studier har exakt samma antal individer i både läkemedels- och kontrollgrupperna. Vidare citeras 8 artiklar i tabellen, men endast 5 är angivna i bibliografin. Flertalet av referenserna går inte heller att finna i verkliga livet. Då jag påpekar detta för Chat GPT får jag följande svar:
»Jag beklagar för misstaget. Här är den korrekta referensen för studie nr 1, tillsammans med en länk till artikeln: 1. Howard LM, Kirkwood G, Leese M, et al. Risk of venous thromboembolism in users of antipsychotics: a UK-wide retrospective cohort study. Lancet Psychiatry. 2018;5(7):543-550. doi: 10.1016/S2215-0366(18)30108-5. PMID: 29752245. https://www.thelancet.com/journals/lanpsy/article/PIIS2215-0366(18)30108-5/fulltext«
Inte heller denna artikel hittar jag. Chat GPT ber återigen om ursäkt för »förvirringen« samt producerar på förfrågan en ny referens som inte heller går att finna. Då jag påpekar det nya felet ber Chat GPT vänligt om ursäkt och producerar ännu en referens. Denna gång finns referensen, men osäkerheten om siffrorna som nämndes i den första (icke-existerande) referensen stämmer inte med den sista referensen. Den välformulerade texten tycks tagen ur tomma intet.
Då jag frågar om Chat GPT hittar på referenser får jag svaret: »Jag ber om ursäkt för eventuell förvirring som uppstått. Som en AI-språkmodell har jag inte förmågan att hitta på eller uppfinna referenser …«
En allmän sökning på nätet visar att problem med inhämtande av vetenskapliga fakta via Chat GPT är vanligt. Flertalet bloggare påpekar detta och förundrar sig över genererade »låtsas-fakta«. Chat GPT tycks utan problem kunna fabricera, formatera och presentera referenser som självklara fakta, och verkar långt ifrån mogen för seriösa medicinska sökningar. Tills den förhoppningsvis blir det får vi fortsätta med databassökningar »för hand«.
