I modelli linguistici avanzati come GPT-4 di OpenAI, LLaMA di Meta e BLOOM stanno diventando più potenti, ma le nuove ricerche mostrano che sono meno affidabili. Lo studio pubblicato su Nature suggerisce che questi modelli, pur rispondendo a più domande, tendono a fornire risposte errate più spesso rispetto ai modelli precedenti.
L’effetto delle risposte sbagliate nei modelli IA
Lo studio ha esaminato i modelli linguistici di intelligenza artificiale più diffusi, rivelando che, sebbene i modelli più grandi rispondano correttamente a un numero maggiore di domande rispetto ai loro predecessori, la percentuale di risposte errate è in aumento. Questo comportamento è stato osservato su una vasta gamma di temi, dalla matematica alla geografia, con GPT-4 e BLOOM che hanno avuto maggiori difficoltà nel rispondere in modo preciso a domande più semplici, aumentando così il rischio di generare informazioni fuorvianti.
I modelli più sofisticati rispondono a tutto, ma è un bene?
Una delle principali problematiche sollevate dallo studio è che i modelli di IA più avanzati, pur rispondendo a una maggiore varietà di domande, non sono in grado di discernere quando è meglio non rispondere. I ricercatori hanno osservato che, sebbene questi modelli gestiscano bene i compiti complessi, le risposte alle domande più facili risultano spesso imprecise. Questo comportamento solleva preoccupazioni su quanto i modelli di IA possano essere fuorvianti, specialmente in contesti in cui è fondamentale fornire informazioni accurate e affidabili.
Il problema dell’affidabilità: errori più frequenti nelle risposte semplici
L’errore più grave riguarda la propensione dei modelli di IA a rispondere a domande semplici con risposte errate. I modelli come LLaMA, nonostante siano molto potenti, non sono riusciti a superare il 60% di accuratezza nelle domande più semplici. Questo fenomeno è preoccupante, poiché nonostante l’apparente competenza in compiti complessi, i modelli continuano a fare errori basilari. Gli esperti suggeriscono che questi difetti vengano trascurati, poiché l’affidabilità mostrata nelle risposte più difficili fa sembrare i modelli più competenti di quanto non siano effettivamente.
La percezione errata delle risposte dell’IA: gli utenti si fidano troppo
Inoltre, lo studio ha rivelato che quando un gruppo di utenti è stato chiamato a giudicare l’affidabilità delle risposte fornite dai modelli linguistici, molti hanno sottovalutato il numero di risposte errate, commettendo errori tra il 10% e il 40% delle volte. Questo evidenzia una preoccupante disconnessione tra la qualità delle risposte e la percezione degli utenti, con molte persone che, impressionate dalla competenza apparente, tendono a fidarsi troppo delle informazioni fornite dai chatbot, anche quando queste non sono corrette.
Come migliorare l’affidabilità dei modelli IA: l’importanza dell’onestà
Gli esperti suggeriscono che una soluzione potrebbe essere quella di programmare i modelli di IA in modo da rifiutare le domande difficili o non conosciute, invece di inventare risposte. La proposta è di stabilire una soglia di affidabilità, dove i modelli rispondono solo quando sono certi di avere la risposta corretta, evitando risposte errate. Questo approccio potrebbe migliorare la trasparenza e limitare la diffusione di informazioni false, ma potrebbe anche contrastare gli interessi commerciali delle aziende che sviluppano questi modelli, poiché potrebbe ridurre l’apparente capacità delle IA di rispondere a qualsiasi domanda.
Implicazioni per l’industria dell’IA e la fiducia del pubblico
La crescente sofisticatezza dei modelli linguistici pone nuove sfide per l’industria dell’IA, in particolare per quanto riguarda la fiducia del pubblico. I ricercatori suggeriscono che per evitare che le IA vengano utilizzate in modo improprio o diventino strumenti di disinformazione, è fondamentale migliorare l’affidabilità e l’onestà dei chatbot. In un mondo sempre più dipendente dalle tecnologie IA, garantire che queste rispondano in modo responsabile e accurato diventa cruciale per mantenere la fiducia dei consumatori e evitare danni potenziali.