LinkedIn mantiene stabile l’investimento in GPU per il prossimo anno fiscale
In Breve
- Qual è la strategia di LinkedIn per l'investimento in GPU per il prossimo anno?
- LinkedIn prevede di mantenere stabile l'investimento in GPU, senza aumentare significativamente la spesa per hardware AI.
- Come ha migliorato LinkedIn l'efficienza delle sue GPU?
- LinkedIn ha raddoppiato l'efficienza delle GPU esistenti grazie a miglioramenti nell'utilizzo, nella distillazione dei modelli e nell'allocazione dei carichi di lavoro.
- Qual è il contesto attuale di LinkedIn rispetto a Microsoft?
- LinkedIn è controllata da Microsoft dal 2016, ma adotta un approccio diverso rispetto all'espansione infrastrutturale del gruppo.
LinkedIn ha comunicato che per il prossimo anno fiscale non prevede un incremento significativo della spesa per hardware dedicato all’intelligenza artificiale. L’investimento in GPU rimarrà sostanzialmente invariato, così come l’impronta di calcolo e storage.
La società ha riferito di aver raddoppiato l’efficienza delle GPU esistenti in un periodo di sei mesi, grazie a una serie di miglioramenti cumulativi. Questi includono un utilizzo ottimizzato delle GPU, la distillazione dei modelli e una migliore allocazione dei carichi di lavoro. LinkedIn intende utilizzare questo margine operativo per sviluppare nuove funzionalità, piuttosto che investire in nuovo hardware.
Erran Berger, CTO dell’ingegneria, ha sottolineato che l’obiettivo è mantenere stabile il footprint di calcolo, pur introducendo funzionalità più esigenti dal punto di vista computazionale. Questa strategia si inserisce in un contesto in cui LinkedIn è controllata da Microsoft dal 2016, ma adotta un approccio differente rispetto all’espansione infrastrutturale del gruppo. Microsoft ha recentemente registrato una spesa in conto capitale di 41 miliardi di dollari nell’ultimo trimestre, aggiungendo 31 data center in quel periodo e 88 nell’anno, con previsioni di oltre 50 miliardi per il trimestre corrente.
In passato, LinkedIn aveva avviato un progetto di migrazione su Azure, noto come Blueshift, che è stato sospeso nel 2022. La società ha quindi deciso di puntare su data center propri situati in Oregon, Texas e Virginia. Avere il controllo dell’intero stack tecnologico è considerato un fattore abilitante, poiché consente un monitoraggio e un’ottimizzazione a ogni livello, trattando l’efficienza come un investimento continuo.
Raghu Hiremagalur, CTO per l’infrastruttura, ha evidenziato che mantenere per un anno senza incrementare storage e compute è «non una piccola impresa» e ha richiesto un lavoro significativo. I miglioramenti ottenuti sono stati il risultato di un approccio sistematico piuttosto che di una singola innovazione tecnologica. Tra le strategie adottate ci sono un migliore utilizzo delle GPU, la riallocazione dei carichi e la distillazione di modelli più complessi in versioni più piccole, oltre a una riprogettazione della divisione del lavoro tra training, inference, storage e progettazione dei sistemi.
La scelta di LinkedIn è anche motivata dalla dinamica dei costi: il costo per singola query era in aumento mentre la quantità di dati immagazzinati raddoppiava ogni anno, una tendenza che è stata giudicata insostenibile. Sebbene LinkedIn non affermi di aver risolto definitivamente il problema, la sua strategia rappresenta un’alternativa alla tendenza prevalente di crescita proporzionale dell’hardware. La rilevanza di questa scelta dipenderà dalla capacità del programma di efficienza di mantenere i risultati nel tempo.
