Blog

May 16, 2023

ChatGPT supera un altro esame medico, un passo avanti verso la laurea in medicina

ChatGPT is becoming a

ChatGPT sta diventando un ottimo candidato per i test medici.

La sua versione più recente e avanzata, ChatGPT-4, può già superare l'esame di licenza medica statunitense a pieni voti. E ora ha fatto un ulteriore passo avanti per diventare un medico specializzato. Beh, più o meno.

Martedì, gli scienziati hanno annunciato che il nuovo software chatbot di OpenAI può facilmente superare un esame della commissione di radiologia in stile canadese o statunitense, ottenendo un punteggio di oltre dieci punti superiore alla soglia di superamento del 70%.

Ma c'è un problema: poiché ChatGPT è progettato solo per elaborare il linguaggio (finora), l'esame radiologico dell'IA non includeva alcuna immagine. Sembra una sorta di svista importante per una branca della medicina che si occupa della diagnosi basata su raggi X, risonanza magnetica e altre immagini del corpo.

ChatGPT ha dimostrato di essere un formidabile candidato ai test: ha superato esami tra cui il SAT, l'esame di abilitazione e persino gli impegnativi test del master sommelier.

Nell'esame di radiologia, ChatGPT-4 ha ottenuto un punteggio minimo pari all'81%. Il bot ha ottenuto punteggi particolarmente buoni su domande di pensiero di ordine superiore che richiedono competenze che vanno oltre il semplice richiamo della memoria, come analisi, sintesi e valutazione; ChatGPT-4 si è comportato bene nel descrivere i risultati delle immagini (85%) e nell'applicare concetti (90%). Ma non ha funzionato molto bene su alcune delle domande più semplici del test, e in realtà ha sbagliato 12 di quelle domande che il suo predecessore, GPT 3.5, aveva risposto correttamente.

"Inizialmente siamo rimasti sorpresi dalle risposte accurate e sicure di ChatGPT ad alcune domande impegnative sulla radiologia", ha affermato in un comunicato stampa l'autore dello studio, il dottor Rajesh Bhayana, un radiologo addominale del Toronto General Hospital. "Ma poi ugualmente sorpreso da alcune affermazioni molto illogiche e imprecise."

Fondamentalmente, ChatGPT è progettato semplicemente per prevedere la migliore parola successiva da pronunciare: in altre parole, è progettato per chattare con te. Quella loquacità può essere facilmente sfruttata per pontificare sugli esami, producendo un candidato molto fiducioso (ma a volte sbagliato).

Ellie Pavlick, professoressa di informatica della Brown, esperta di elaborazione del linguaggio naturale, afferma che questo problema non riguarda esclusivamente i chatbot. Ha sempre avuto difficoltà a capire se gli studenti afferrano davvero i concetti che ha insegnato in base alle risposte agli esami scritti.

"Se usi un linguaggio ben costruito, sembra che tu lo sappia, ma forse lo sai, forse no", ha detto Pavlick durante una recente tavola rotonda ChatGPT alla Brown University. "Questa è una bella indicazione del motivo per cui vogliamo attribuire a ChatGPT molta più conoscenza e consapevolezza di quanta ne abbia in realtà, perché c'è qualcosa nel linguaggio ben costruito che può davvero mascherare la [scarsa] comprensione."

I medici affermano che ChatGPT non dovrebbe essere utilizzato per diagnosticare o curare i pazienti e che la sua accuratezza medica dovrebbe sempre essere controllata da una persona. Ma gli esperti medici stanno anche scoprendo come ChatGPT possa essere uno strumento utile per migliorare la comunicazione di un medico con i propri pazienti. È proprio perché ChatGPT eccelle nello scherzo che è spesso considerato più compassionevole dei medici frettolosi.

Leggi dopo