L’avanzata senza ostacoli dell’intelligenza artificiale, nei più disparati settori, sta portando profondi cambiamenti non solo nel settore tecnologico, ma anche nell’intera società globale.
La corsa all’intelligenza artificiale e l’importanza dei chip
Questi cambiamenti sono, forse, altrettanto significativi per il mondo quanto le rivoluzioni agricola e industriale per i nostri avi, le quali ebbero entrambe drastiche conseguenze economiche per il mondo civilizzato dell’epoca. Sebbene l’esatta progressione e la tempistica di questi cambiamenti siano imprevedibili, una cosa è chiara: la corsa dell’intelligenza artificiale non è possibile senza progressi e senza una “fornitura stabile” di hardware e software in generale (e di silicio in particolare).
La complessità della progettazione e della produzione dei semiconduttori, unita alla rapidità dell’innovazione e alla vulnerabilità della catena di fornitura, crea dinamiche uniche e stimolanti che stanno ridisegnando la leadership nel settore dei semiconduttori. Si pensi che i ricavi combinati dei quattro grandi colossi del settore (Nvidia, TSMC, Broadcom e Qualcomm) si avvicinano a mille miliardi di dollari. Stiamo parlando di aziende che forniscono attrezzature di produzione, componenti e software per la costruzione di impianti di produzione e che producono e progettano software per lo sviluppo di chip.[1]
Nvidia: il colosso dei chip per l’IA e le alternative
Tra le quattro grandi, Nvidia spicca principalmente per la celerità con la quale ha scalato la vetta del successo finanziario negli ultimi anni. Il colosso californiano ha beneficiato (e sta beneficiando) in modo massiccio dell’impennata della domanda di applicazioni di intelligenza artificiale (AI) iniziata alla fine del 2022 (e, al momento, non interrotta).
I giganti del cloud computing si sono messi in fila per ottenere le unità di elaborazione grafica (GPU) dei data center dell’azienda di Santa Clara per addestrare e alimentare i loro modelli linguistici di grandi dimensioni (LLM o Large Language Models).
Nvidia, d’altro canto, è stata il fornitore ideale di chip per l’Intelligenza Artificiale se si pensi che tra i suoi partner vi sono Meta, Amazon e Microsoft. Vale la pena notare che questi giganti tecnologici sono stati disposti ad aspettare fino a un anno tra l’ordine e la consegna per procurarsi i chip di Nvidia, pagandoli “fior di quattrini”.
Altri produttori di chip “storici” del calibro di Intel e AMD (“concittadine” di Nvidia, ossia aventi sede a Santa Clara in California) si “accontentano delle briciole”, dato che Nvidia controlla ben il 95% del mercato dei chip per l’Intelligenza Artificiale. Di conseguenza, i guadagni e le entrate di Nvidia si sono moltiplicati rapidamente. Tuttavia, alcuni dei suoi clienti stanno facendo sforzi concertati per ridurre la loro dipendenza dai suoi chip.
E poi c’è un gruppo di startup promettenti.
L’evoluzione dei chip Nvidia: dall’A100 all’H100
Il successo di Nvidia nel mercato può essere, tra le altre cose, attribuito al suo processore A100 lanciato nel 2020, una “unità di elaborazione grafica” (GPU) creata con lo scopo di servire applicazioni di calcolo ad alte prestazioni. Si pensi che OpenAI, avrebbe impiegato migliaia di chip A100 per addestrare il suo “top di gamma” ChatGPT. È interessante notare che, verso la fine del 2021, la rivale (poco fortunata) AMD ha iniziato a offrire un acceleratore per data center concorrente a quello sviluppato da Nvidia.
Tuttavia, l’A100 avrebbe superato il più recente chip AMD nelle attività di formazione dei Large Language Models (LLM). Inoltre, nel 2022 Nvidia ha alzato il tiro con il processore H100, che rivelatosi significativamente più potente del suo predecessore varato solo un biennio prima. AMD, invece, si è fatta attendere fino alla fine del 2023 per presentare il suo MI300. Questo spiega perché l’H100 di Nvidia è stato (ed è ancora) molto richiesto, permettendo all’azienda di Santa Clara di generare solo lo scorso anno quasi cinquanta miliardi di dollari rispetto ai quindici miliardi di dollari dell’anno precedente. Ma chiaramente, non è tutto oro ciò che luccica.
Lo sviluppo “in casa” di chip AI da parte delle grandi aziende tech
Infatti, la mancanza di un’alternativa potente all’ H100, il suo prezzo elevato e la sua scarsa disponibilità sul mercato spiegano perché alcuni dei principali clienti di Nvidia hanno avviato iniziative interne di sviluppo di chip per Intelligenza Artificiale per ridurre la loro dipendenza dal colosso produttore di chip.
Meta
Tra tutte, Meta ha recentemente annunciato la seconda generazione del suo chip proprietario che, secondo l’azienda di Menlo Park, raddoppierebbe l’ampiezza di calcolo e la larghezza di banda della memoria rispetto alle soluzioni precedentemente adottate. Meta ha intenzione di continuare il suo programma di sviluppo interno di chip per ridurre i costi operativi e di sviluppo dei suoi server dedicati all’Intelligenza Artificiale[2].
Microsoft
Qualcosa di simile sta accadendo anche altrove. In casa Microsoft, per esempio, sono stati creati verso la fine dello scorso anno due chip per Intelligenza Artificiale “personalizzati”, Cobalt 100 e Maia 100[3]. Quest’ultimo, secondo quanto riferito dall’azienda di Redmond, ha una capacità di centocinque miliardi di transistor preordinati all’esecuzione di carichi di lavoro in cloud, tra cui l’addestramento e l’inferenza (simulazione delle modalità con cui la mente trae conclusioni logiche attraverso il ragionamento) degli LLM.
Amazon
Anche Amazon ha intrapreso la strada dello sviluppo interno di chip per Intelligenza Artificiale. A novembre scorso il colosso di Jeff Bezos ha presentato la sua ultima offerta, il Trainium2, che sostiene essere quattro volte più potente del suo predecessore[4]. I clienti di Amazon Web Services hanno la possibilità di utilizzare questi chip per addestrare i modelli di Intelligenza Artificiale[5]. Nel frattempo, Alphabet (Google) è “entrata in pista” con il suo nuovissimo processore Axion per l’Intelligenza Artificiale[6].
Fatte queste premesse – ribadendo che Meta, Microsoft, Google e Amazon sono stati tra i principali acquirenti di processori H100 di Nvidia fino all’anno scorso – possiamo vedere come lo sviluppo di chip proprietari possa rappresentare senza dubbio una seria minaccia per i profitti del gigante dei semiconduttori (e per i suoi investitori).
Le startup dei chip per l’AI
Le GPU hanno i loro limiti, in particolare quando si tratta della velocità con cui i dati possono essere trasferiti su e fuori di esse. I modelli di intelligenza artificiale moderni funzionano su un gran numero di GPU e chip di memoria interconnessi. Spostare rapidamente i dati tra di loro è fondamentale per le prestazioni.
Durante l’addestramento di modelli di intelligenza artificiale molto grandi, alcuni core della GPU possono rimanere inattivi fino a metà del tempo mentre aspettano i dati. Andrew Feldman, il capo di Cerebras, una startup con sede a Sunnyvale, California, lo paragona al traffico bloccato in un negozio di alimentari il giorno prima del Ringraziamento. “Tutti sono in fila, quindi ci sono blocchi nel parcheggio, blocchi nei corridoi, blocchi alle casse. È esattamente quello che sta succedendo con una GPU.”
La risposta di Cerebras è mettere 900.000 core, più molta memoria, su un singolo chip enorme, per ridurre la complessità di collegare più chip e trasferire dati tra di loro. Il suo chip CS-3 è il più grande al mondo per un fattore di 50. “Il nostro chip è grande quanto un piatto da cena, una GPU è grande quanto un francobollo,” dice Feldman. Le connessioni sul chip tra i core operano centinaia di volte più velocemente delle connessioni tra GPU separate, sostiene Cerebras, mentre il suo approccio riduce il consumo di energia di oltre la metà, a parità di livello di prestazioni, rispetto all’offerta GPU più potente di Nvidia.
Groq, un’altra startup, sta adottando un approccio diverso. I suoi chip di intelligenza artificiale, chiamati unità di elaborazione del linguaggio (LPU), sono ottimizzati per eseguire grandi modelli di linguaggio (LLM) particolarmente velocemente. Oltre a contenere la propria memoria, questi chip funzionano anche come router, passando i dati tra le LPU interconnesse. Un software di instradamento intelligente elimina la variazione nella latenza, o il tempo trascorso in attesa dei dati, permettendo all’intero sistema di funzionare in sincronia. Questo aumenta notevolmente l’efficienza e quindi la velocità: Groq afferma che le sue LPU possono eseguire grandi LLM dieci volte più velocemente rispetto ai sistemi esistenti.
Un altro approccio è quello adottato da MatX, anch’essa con sede in California. Le GPU contengono caratteristiche e circuiti che forniscono flessibilità per la grafica, ma non sono necessari per gli LLM, dice Reiner Pope, uno dei co-fondatori dell’azienda. Il chip simile a una GPU su cui sta lavorando la sua azienda elimina tali elementi superflui, migliorando le prestazioni facendo meno cose ma meglio.
Altre startup in questo settore: Hailo, con sede in Israele; Taalas, con sede a Toronto; Tenstorrent, un’azienda americana che utilizza l’architettura open-source RISC V per costruire chip di intelligenza artificiale; e Graphcore, un’azienda britannica che si pensa stia per vendersi a SoftBank, un conglomerato giapponese.
Un pericolo per i nuovi arrivati è che i loro sforzi di specializzazione possano andare troppo lontano. Progettare un chip richiede tipicamente due o tre anni. Il rischio è che si specializzino nella cosa sbagliata, superata nel frattempo dal mercato.
Le nuove GPU “Blackwell AI” di Nvidia
Ma se è vero che i “grandi clienti” di Nvidia stanno cercando di ridurre la loro dipendenza dal colosso californiano, resta il fatto che si prevede che continueranno ad acquistare le sue potenti GPU. Ad esempio, quando il mese scorso Nvidia ha annunciato il lancio delle GPU “Blackwell AI” di nuova generazione, tutte le aziende citate in precedenza hanno dichiarato che avrebbero utilizzato i nuovi chip non appena disponibili. E questo non è una sorpresa, poiché le prossime GPU di Nvidia dovrebbero essere molto più potenti di quelle attuali, consentendo ai suoi importanti clienti di addestrare LLM ancora più grandi con costi e consumi energetici fino a venticinque volte inferiori rispetto al suo predecessore. Dato che, probabilmente, il prezzo di queste nuove GPU sarà più competitivo rispetto a quello dell’attuale H100, i clienti di Nvidia potrebbero vedere un maggiore ritorno sui loro investimenti in hardware per Intelligenza Artificiale con l’utilizzo dei nuovi processori di ultima generazione. Di conseguenza, la domanda di chip per Intelligenza Artificiale di Nvidia potrebbe continuare a rimanere alta.
Il fattore software
Un’altra sfida è che il livello software di Nvidia per programmare le sue GPU, noto come CUDA, è uno standard de facto nell’industria, nonostante sia notoriamente complicato da usare.
Nvidia ha un vantaggio significativo, avendo costruito il suo ecosistema software nel corso di molti anni. Le startup di chip per l’intelligenza artificiale avranno successo solo se riusciranno a convincere i programmatori a rivedere il loro codice per farlo funzionare sui nuovi chip. Offrono toolkit software per fare ciò e forniscono compatibilità con i principali framework di machine learning. Ma ottimizzare il software per migliorare le prestazioni su una nuova architettura è un’attività difficile e complessa—un’altra ragione per cui è difficile spodestare Nvidia.
L’importanza della catena di fornitura nel settore dei semiconduttori
Un altro motivo per cui Nvidia potrebbe rimanere l’attore dominante nel mercato dei chip per l’Intelligenza Artificiale è il suo controllo sulla “catena di fornitura”. I clienti e i rivali di Nvidia si stanno rivolgendo al gigante taiwanese dei semiconduttori “Taiwan Semiconductor Manufacturing Company” (TSMC, citato in premessa) per produrre i propri chip di Intelligenza Artificiale; tuttavia, Nvidia avrebbe consumato il 60% della capacità di confezionamento di chip avanzati di TSMC. Non per nulla Nvidia, oltre a essere un competitor di TSMC, ne è anche il secondo cliente più importante (al primo posto c’è Apple).
Il ruolo di TSMC
Naturalmente TSMC non sta a guardare. L’azienda taiwanese sta cercando di aumentare la propria capacità per soddisfare la domanda di Nvidia e di altri clienti, ma è probabile che lo specialista delle GPU si accaparri la fetta più grande della produzione aggiuntiva della fonderia, considerando l’enorme vantaggio di cui già gode nel mercato dei chip per Intelligenza Artificiale. Quindi, anche se altri grandi player tecnologici continueranno a sviluppare chip, è probabile che Nvidia rimanga il primo operatore di chip per l’Intelligenza Artificiale per un bel po’ di tempo.[7][8]
Note
[1] How Nvidia, TSMC, Broadcom and Qualcomm will lead a trillion-dollar silicon boom. SiliconANGLE Media Inc. https://siliconangle.com/2024/05/25/nvidia-tsmc-broadcom-qualcomm-will-lead-trillion-dollar-silicon-boom/
[2] Meta accelera sull’AI con nuovi chip potenziati. HD Blog. https://www.hdblog.it/tecnologia/articoli/n580854/meta-accelera-ai-nuovi-chip-potenziati/
[3] Azure Maia 100 e Cobalt 100: chip IA di Microsoft. Punto Informatico. https://www.punto-informatico.it/azure-maia-100-cobalt-100-chip-ia-microsoft/
[4] AWS spinge sui chip custom con Graviton4 e Trainium2: ecco di cosa si tratta. Hardware Upgrade. https://edge9.hwupgrade.it/news/cloud/aws-spinge-sui-chip-custom-con-graviton4-e-trainium2-ecco-di-cosa-si-tratta_122249.html
[5] Inside Amazon’s Struggle to Crack Nvidia’s AI-Chip Dominance. Entrepreneur Media. https://www.entrepreneur.com/business-news/inside-amazons-struggle-to-crack-nvidias-ai-chip-dominance/474792
[6] Introducing Google Axion Processors, our new Arm-based CPUs. Google. https://cloud.google.com/blog/products/compute/introducing-googles-new-arm-based-cpu
[7] Is This the Beginning of the End of Nvidia’s Artificial Intelligence (AI) Chip Dominance? Motley Fool. https://www.fool.com/investing/2024/04/20/is-this-the-beginning-of-the-end-of-nvidias-artifi/
[8] Can Nvidia be dethroned? Meet the startups vying for its crown. The Economist. https://www.economist.com/business/2024/05/19/can-nvidia-be-dethroned-meet-the-startups-vying-for-its-crown
