In questo studio gli autori hanno pesato l’accuratezza del più diffuso sistema di intelligenza artificiale (IA) conversazionale, ovvero Chat Generative Pre-trained Transformer (ChatGPT) nel fornire informazione medica scientificamente valida a 38 quesiti real-world di pazienti affetti da malattie infiammatorie croniche intestinali (MICI) confrontandola con quella fornita dalle attuali linee guida internazionali della European Crohn’s and Colitis Organization (ECCO). I risultati hanno dimostrato una reale potenzialità di ChatGPT 3.5 come strumento aggiuntivo per i pazienti e per migliorare lo standard-of-care dei pazienti con MICI
BACKGROUND
L’utilizzo di chatbot conversazionali è in progressiva crescita nella ricerca medica, nelle diverse declinazioni delle sue sotto specializzazioni, primariamente perché essi sono ampiamente disponibili, estremamente economici (la maggior parte sono gratuiti), facilmente accessibili con interfacce intuitive e, pertanto, consultabili senza particolari difficoltà dai pazienti. I pazienti con MICI sono malati cronici che spesso si pongono interrogativi sull’impatto che la MICI ha, ha avuto e avrà nella loro quotidianità. Essi ricorrono, spesso, ai propri gastroenterologici di fiducia che li hanno in carico, così come alla loro rete socio-affettiva ma, allo stesso tempo, anche a strumenti immediati come i social network, internet, e oggi anche chatbots. Di conseguenza è necessario che gli operatori della ricerca valutino e verifichino se questi possano essere reali strumenti complementari nella gestione delle MICI.
RISULTATI
Le trentotto domande hanno coperto diversi aspetti relativi alla gestione delle MICI tra cui il rapporto tra MICI e cancro, MICI e fertilità, impatto delle infezioni e delle vaccinazioni nei pazienti affetti da MICI così come il ruolo della medicina complementare nella gestione di tali patologie.
Quattordici gastroenterologi europei, esperti nella gestione delle MICI, hanno poi gradato l’accuratezza e la completezza delle risposte del chatbot con un sistema a scala di Likert rispettivamente a 5 e 3 punti (a punteggio maggiore corrispondeva migliore accuratezza/completezza). Il dato è risultato particolarmente interessante in quanto la maggior parte delle risposte fornite da ChatGPT (ovvero l’84,2%) ha ottenuto uno score di accuratezza quasi completo (pari ad almeno 4). Di contro, la completezza della risposte è risultata sufficiente in poco più della metà delle risposte, 55,3% con un punteggio minore di 3 e pari ad almeno 2 sulla scala identificata. Dalle analisi di sottogruppo è, inoltre, emerso come ChatGPT presenta una performance massima sulle domande connesse alla gestione del tabagismo in corso di MICI mentre, al contrario, ha una minima performance nel trattare dello screening del cancro e nel timing delle vaccinazioni nei pazienti con MICI.
IMPATTO NELLA PRATICA CLINICA
Questo studio dimostra che l’informazione medica generata dalla IA conversazionale mediante chatbot ChatGPT 3.5 può avere una fondatezza scientifica confermando questo chatbot come tool estremamente interessante nelle sue potenzialità migliorative del rapporto informativo medico-paziente.
COMMENTO
ChatGPT ancora una volta dimostra di avere promettenti capacità di sintetizzare in una modalità user-friendly grosse moli di informazioni e dati per produrre outputs (ovvero risposte agli inputs degli utenti) semplificate ed alla portata di tutti ed in pochi secondi. Questo lo rende un tool della IA conversazione estremamente applicabile, in potenza, al dominio sanitario, specie nei setting di patologie croniche come le MICI. A fronte di questi chiari vantaggi possiede, tuttavia, alcune criticità con cui, inevitabilmente, fare i conti. In primis la non diretta tracciabilità delle fonti informazionali su cui produce i suoi outputs. Il che rende ragione della impossibilità di poter comprendere se il training su cui si basa il funzionamento di questa IA avvenga tramite strumenti conoscitivi di alta qualità e basati sull’evidence based medicine.
Nondimeno, inoltre, esiste un rischio di scarso dettaglio delle risposte come suggerito da questo lavoro che rende ancora difficilmente ipotizzabile una potenzialità sostitutiva di questo strumento del ruolo che oggi ha il gastroenterologo. Si aggiunge l’assenza totale di empatia del sistema su cui la relazione medico-paziente fonda le sue basi. Infine, va considerato il rischio, descritto in letteratura, di allucinazioni artificiali che tale sistema può presentare generando outputs formalmente in apparenza accurati ma che, dopo adeguato scrutinio di esperti, si rilevano fallaci. Cosa quindi ci suggerisce questo lavoro? Probabilmente che, ad oggi, ChatGPT debba essere utilizzato e raccomandato con estrema prudenza perché i margini di miglioramento devono essere ancora chiaramente raggiunti. Nonostante questo, però, questo sistema è in costante miglioramento ed è quindi auspicabile e prevedibile che, nel prossimo futuro, potrebbe drasticamente migliorare la sua performance ed integrarsi sempre di più nella pratica clinica real-world dei pazienti con MICI.
Quest’ultima eventualità sarebbe probabilmente facilitata da uno sviluppo ad hoc delle aziende che hanno in carico i chatbots con un sistema di training basato su database scientifici di alta qualità (esempio depositi di papers come Scopus, Web of Science, Embase, o MEDLINE) favorendo la genesi di risposte la cui accuratezza scientifica si regge su articoli scientifici e linee guida internazionali.
BIBLIOGRAFIA
