Chi ha provato una demo di Groq ricorda la sensazione: il testo non appare a scatti, arriva tutto insieme. Dietro quella impressione c'è una scelta architetturale radicale, presa quasi dieci anni prima che servisse.
Le origini
Groq viene fondata nel 2016 da Jonathan Ross, che a Google era stato tra i creatori del primo TPU. L'intuizione di partenza è che gran parte della complessità di una GPU serve a gestire l'imprevedibilità: cache, predizione dei salti, scheduler hardware che decidono a runtime cosa eseguire. Nell'esecuzione di una rete neurale, però, la sequenza delle operazioni è nota in anticipo.
Da qui la LPU (Language Processing Unit): un processore in cui tutto è pianificato dal compilatore, istruzione per istruzione, ciclo per ciclo. Niente cache, niente arbitraggio dinamico, niente memoria HBM — solo SRAM sul chip e un flusso di dati completamente deterministico. Se sai in anticipo dove sarà ogni byte a ogni ciclo, non devi aspettarlo.
Cosa fa davvero
Groq oggi non vende quasi mai schede: vende capacità di inferenza. GroqCloud espone i modelli aperti più diffusi attraverso API compatibili con lo standard di fatto del settore, con prezzi al milione di token e velocità di generazione difficili da eguagliare con hardware generalista. Accanto c'è la vendita di installazioni complete a operatori e governi che vogliono capacità sovrana sul proprio territorio: è su questo canale che l'azienda ha firmato i suoi impegni più grandi, in particolare in Medio Oriente.
Il vantaggio collaterale della rinuncia alla HBM è industriale prima che tecnico: le LPU si producono su nodi maturi e non competono per la memoria ad alta banda, che è la risorsa più contesa del pianeta. In un mercato in cui la disponibilità conta quanto la prestazione, è un vantaggio concreto.
La svolta AI
Groq è nata in un mondo in cui il valore stava nell'addestramento e si è ritrovata perfetta per il mondo successivo, quello in cui il costo dominante è l'inferenza — e in cui gli agenti, che generano decine di chiamate concatenate, rendono la latenza un problema di prodotto e non di benchmark. Ogni secondo di attesa in una catena di ragionamento si moltiplica per il numero di passaggi.
Dove può rompersi
La stessa scelta che le dà velocità le dà anche il suo limite: poca memoria per chip. Per far stare un modello di grandi dimensioni servono molti acceleratori collegati, e il conto del capitale investito per servire un utente può diventare sfavorevole rispetto a un sistema con HBM abbondante. Il modello economico regge finché l'utilizzo è alto e costante.
Il secondo rischio è competitivo: l'inferenza veloce si sta rapidamente trasformando in una commodity, con hyperscaler, NVIDIA e una decina di startup a inseguire lo stesso prezzo per token. E il terzo è finanziario: costruire capacità propria richiede una raccolta continua di capitale, in un settore dove la valutazione dipende dalle aspettative molto più che dai ricavi correnti.