Negli ultimi dieci anni, abbiamo assistito a un aumento drammatico delle risorse computazionali dedicate all’addestramento dei modelli di intelligenza artificiale (AI) all’avanguardia. Questa strategia si è rivelata incredibilmente produttiva, traducendosi in grandi miglioramenti in termini di generalità e prestazioni. Ad esempio, stimiamo che circa due terzi dei miglioramenti nelle prestazioni dei modelli di linguaggio nell’ultimo decennio siano dovuti all’aumento della scala dei modelli.
Crescita del Calcolo per l’Addestramento
È fondamentale monitorare come le risorse computazionali (il ‘compute’) utilizzate per addestrare i modelli siano cresciute negli ultimi anni. La nostra analisi più recente, che ha triplicato la quantità di dati raccolti, conclude che la crescita del calcolo negli ultimi anni è aumentata di circa 4-5 volte all’anno. Troviamo una crescita costante tra i modelli recenti, tra i primi 10 modelli per compute, nei grandi modelli di linguaggio e nei modelli di punta rilasciati da OpenAI, Google DeepMind e Meta AI.
Tuttavia, ci sono alcune incertezze non risolte. Non possiamo escludere che la tendenza complessiva del compute possa essere accelerata. Inoltre, troviamo prove di un rallentamento della crescita intorno al 2018, che complica l’interpretazione. La crescita recente dal 2018 è meglio descritta come una tendenza di 4 volte all’anno. Nel complesso, raccomandiamo di riassumere la recente tendenza della crescita del compute con la cifra di 4-5 volte all’anno, da utilizzare come base per le aspettative future.
La Tendenza Complessiva della Crescita del Compute
Nel 2022, abbiamo riscontrato che la quantità di compute utilizzata per addestrare modelli significativi è cresciuta di circa 4 volte all’anno dal 2010 al 2022. Molti modelli significativi sono stati rilasciati da allora, e abbiamo ampliato il nostro database triplicando le stime del compute. In breve, la quantità di compute utilizzata per addestrare modelli significativi è cresciuta di circa 4,1 volte all’anno tra il 2010 e maggio 2024. Questo suggerisce che la tendenza si è mantenuta costante.
Modelli di Frontiera
I modelli che ci interessano di più sono quelli all’avanguardia. La tendenza che osserviamo nei modelli di frontiera è simile alla tendenza recente nei modelli complessivi, aumentando di 5,3 volte all’anno tra il 2010 e maggio 2024. La nostra definizione aggiornata di modelli di frontiera include i primi 10 modelli per compute al momento del loro rilascio, il che ci permette di escludere gli outlier e modelli con basso compute.
Crescita dei Modelli di Linguaggio
I modelli di linguaggio generativo hanno visto notevoli progressi negli ultimi anni, alimentando alcune delle applicazioni di maggior successo come ChatGPT. Focalizzandoci sui modelli rilasciati dopo il Transformer nel giugno 2017, la tendenza per i modelli di linguaggio significativi cresce significativamente più velocemente rispetto ai modelli complessivi, con una crescita di 9,5 volte all’anno tra giugno 2017 e maggio 2024. Tuttavia, questa crescita si è rallentata intorno al 2020, raggiungendo una crescita di circa 5 volte all’anno fino a maggio 2024.
Strategia delle Aziende Leader
Le aziende leader come OpenAI, Google DeepMind e Meta AI hanno seguito una strategia di scalabilità simile, con la scala dei loro modelli principali che è aumentata di 5 volte all’anno. Questo suggerisce che la cifra di 5 volte all’anno potrebbe applicarsi anche alle singole aziende.
Proiezioni per il Futuro
La crescita del compute è il miglior indicatore delle capacità generali dell’IA che abbiamo, e quindi monitorare la sua crescita è fondamentale per prevedere la traiettoria dell’IA. La nostra analisi suggerisce che la tendenza della crescita del compute per i modelli significativi è di 4-5 volte all’anno, una descrizione accurata delle tendenze recenti e probabilmente valida anche per il prossimo futuro, salvo nuovi colli di bottiglia o grandi scoperte.