Quanto costa addestrare i modelli di AI di frontiera?

L’aumento dei costi di addestramento

Il costo di addestramento dei modelli di AI di frontiera è aumentato di un fattore da 2 a 3 volte all’anno negli ultimi otto anni, suggerendo che i modelli più grandi costeranno oltre un miliardo di dollari entro il 2027.

Sintesi dei risultati

I costi di addestramento dei modelli di AI di frontiera sono cresciuti drammaticamente negli ultimi anni, ma ci sono pochi dati pubblici sulla magnitudine e sulla crescita di queste spese. Nel nostro nuovo documento, sviluppiamo un modello di costo dettagliato per affrontare questa lacuna, stimando i costi di addestramento per fino a 45 modelli di frontiera utilizzando tre diversi approcci che tengono conto delle spese hardware ed energetiche, dei costi di noleggio del cloud e delle spese del personale di R&S, rispettivamente. Questo lavoro si basa sulle stime dei costi presenti nell’AI Index del 2024.

La nostra analisi rivela che il costo ammortizzato dell’hardware e dell’energia per l’ultimo ciclo di addestramento dei modelli di frontiera è cresciuto rapidamente, a un tasso del 2,4x all’anno dal 2016 (IC 95%: 2,0x a 3,1x). Abbiamo anche stimato una ripartizione dei costi per sviluppare modelli chiave di frontiera come GPT-4 e Gemini Ultra, includendo i costi del personale di R&S e il calcolo per gli esperimenti. Abbiamo scoperto che la maggior parte del costo di sviluppo riguarda l’hardware con il 47-67%, ma i costi del personale di R&S sono significativi al 29-49%, con il restante 2-6% destinato al consumo di energia.

Crescita dei costi di addestramento

Se la tendenza dei crescenti costi di addestramento continua, i più grandi cicli di addestramento costeranno più di un miliardo di dollari entro il 2027, suggerendo che l’addestramento dei modelli di AI di frontiera sarà troppo costoso per tutte le organizzazioni tranne quelle più ben finanziate.

Il nostro approccio primario calcola i costi di addestramento basati sull’ammortamento dell’hardware e sul consumo di energia durante la durata dell’addestramento del modello. I costi dell’hardware includono chip acceleratori di AI (GPU o TPU), server e hardware di interconnessione. Utilizziamo o divulgazioni del sviluppatore o rapporti di terze parti credibili per identificare o stimare il tipo e la quantità di hardware e la durata del ciclo di addestramento per un dato modello. Stimiamo anche il consumo di energia dell’hardware durante l’ultimo ciclo di addestramento di ciascun modello.

Utilizzando questo metodo, abbiamo stimato i costi di addestramento per 45 modelli di frontiera (modelli che erano tra i primi 10 in termini di calcolo di addestramento al momento del loro rilascio) e abbiamo scoperto che il tasso di crescita complessivo è del 2,4x all’anno.

Approcci alternativi

Come approccio alternativo, calcoliamo anche il costo per addestrare questi modelli nel cloud utilizzando hardware noleggiato. Questo metodo è molto semplice da calcolare perché i fornitori di cloud addebitano una tariffa fissa per ora di chip e i costi di energia e interconnessione sono inclusi nei prezzi. Tuttavia, sovrastima i costi di molti modelli di frontiera, che spesso sono addestrati su hardware di proprietà dello sviluppatore piuttosto che su hardware noleggiato nel cloud.

Utilizzando questo metodo, troviamo un tasso di crescita molto simile del 2,6x all’anno, ma le stime dei costi risultanti sono circa il doppio in media rispetto alle stime dal metodo di ammortamento hardware e energetico. Nota che queste stime dei costi erano precedentemente presenti nell’AI Index del 2024.

Infine, abbiamo anche investigato in profondità i costi di sviluppo per alcuni modelli selezionati. Questo approccio include i costi di calcolo ammortizzati per sia l’ultimo ciclo di addestramento che gli esperimenti di supporto, nonché la compensazione del personale di R&S. Abbiamo applicato questo approccio a GPT-3, OPT-175B (noto come tentativo di replica di GPT-3 da parte di un team di Meta AI),