Nel 2013 dentro Google qualcuno fece un conto semplice: se tutti gli utenti avessero usato la ricerca vocale per pochi minuti al giorno, sarebbe servito il doppio dei data center allora esistenti. Da quel conto nasce il progetto di silicio interno più longevo dell'industria.
Le origini
Il primo TPU entra in produzione nel 2015 ed è un acceleratore per la sola inferenza: una grande matrice sistolica di moltiplicatori a bassa precisione, progettata per fare una cosa sola in modo estremamente efficiente. Il paper pubblicato nel 2017 mostra guadagni di ordine di grandezza in prestazioni per watt rispetto all'hardware generalista dell'epoca, e diventa uno dei documenti più citati della storia recente dell'architettura dei calcolatori.
Dalla seconda generazione i TPU imparano anche ad addestrare, e da lì la roadmap procede senza interruzioni: interconnessione proprietaria fra i chip, pod da migliaia di unità, commutazione ottica per riconfigurare la topologia del cluster, generazioni successive sempre più orientate all'inferenza su larga scala. Il progetto fisico è realizzato in collaborazione con Broadcom; la produzione è TSMC.
Cosa fa davvero
I TPU non sono un prodotto in vendita nel senso tradizionale: sono l'infrastruttura su cui gira Google. Ricerca, YouTube, Traduttore, Foto, e soprattutto l'addestramento e il servizio dei modelli Gemini. All'esterno vengono offerti come capacità su Google Cloud, con il proprio stack software basato su JAX e XLA e con supporto a PyTorch attraverso uno strato di compatibilità.
La novità degli ultimi anni è commerciale: Google ha cominciato a firmare impegni molto grandi con laboratori esterni, incluso l'accordo pluriennale con Anthropic misurato in centinaia di migliaia di acceleratori, e a valutare la possibilità di installare TPU anche in data center non propri. Ogni passo in quella direzione trasforma un vantaggio interno in un mercato.
La svolta AI
L'importanza dei TPU non sta nelle prestazioni di picco ma nell'indipendenza: Google è l'unico grande operatore che può addestrare e servire modelli di frontiera senza chiedere allocazione a NVIDIA. In una fase in cui la disponibilità conta più del prezzo, questo si traduce in costo per token più basso, tempi di consegna sotto controllo e una posizione negoziale che nessun altro ha.
Il secondo effetto è sul software: dieci anni di ottimizzazione su un'architettura non-GPU hanno prodotto un ecosistema — JAX, XLA, i compilatori interni — che è l'unica risposta credibile alla domanda "esiste vita fuori da CUDA?".
Dove può rompersi
Il limite storico è l'esposizione a un solo compratore: finché i TPU servono soprattutto Google, la loro economia di scala dipende dalla spesa interna. Aprirli al mercato esterno risolve quel problema ma ne apre altri — supporto, portabilità del codice, concorrenza diretta con il fornitore da cui Google continua comunque a comprare GPU.
C'è poi il vincolo che riguarda tutti: capacità TSMC, packaging avanzato e memoria HBM. Progettare il proprio acceleratore elimina la dipendenza da NVIDIA, non quella dalla catena di fornitura che sta sotto.