Tra le startup nate per contendere a NVIDIA il mercato degli acceleratori, SambaNova è quella con le credenziali accademiche più solide e la strada commerciale più accidentata.
Le origini
Fondata nel 2017 da Rodrigo Liang insieme a due professori di Stanford — Kunle Olukotun, uno dei padri dei processori multicore, e Chris Ré, specialista di sistemi per il machine learning — SambaNova nasce attorno a una critica precisa alla GPU: un acceleratore generalista spende una quota enorme di energia a leggere e riscrivere risultati intermedi in memoria, perché esegue un'operazione alla volta su tutto il tensore.
La risposta è la Reconfigurable Dataflow Unit: invece di eseguire istruzioni, il chip viene configurato per assumere la forma del grafo di calcolo. I dati scorrono attraverso unità aritmetiche e di memoria collegate secondo la struttura del modello, e i risultati intermedi non escono dal chip. La generazione SN40L aggiunge una gerarchia di memoria a tre livelli — SRAM, HBM e DRAM ad alta capacità — pensata per tenere residenti in un solo sistema molti modelli diversi.
Cosa fa davvero
SambaNova non ha mai venduto schede da inserire in un server altrui: vende sistemi completi, e per anni li ha venduti come servizio in abbonamento, con modelli preconfigurati e supporto incluso. Il cliente tipo non è l'hyperscaler ma l'organizzazione che vuole capacità AI dentro le proprie mura: laboratori nazionali, banche, sanità, enti pubblici, operatori telefonici.
Da questa impostazione discende il pivot degli ultimi anni verso l'AI sovrana: paesi e grandi gruppi che vogliono inferenza su modelli aperti, dentro i propri confini, senza passare da un cloud americano. È un mercato reale e con budget pubblici, ma con cicli di vendita lunghissimi.
La svolta AI
Il punto di forza tecnico si è rivelato più adatto all'inferenza che all'addestramento: la capacità di tenere in memoria molti modelli contemporaneamente e di passare dall'uno all'altro senza ricaricare tutto è esattamente quello che serve a chi serve decine di modelli specializzati. Su questo SambaNova ha costruito un servizio cloud che compete sui token al secondo con gli altri specialisti dell'inferenza.
Dove può rompersi
Il problema non è l'architettura, è la distribuzione. Vendere un sistema proprietario a un cliente che deve riscrivere parte del proprio stack è molto più difficile che affittare GPU a ore da un cloud pubblico, e negli ultimi due anni il costo dell'inferenza su hardware standard è crollato, erodendo il margine di convincimento.
A questo si aggiunge la pressione finanziaria tipica delle startup di silicio: valutazioni fissate nella fase più euforica, capitale che va rimesso a ogni generazione di chip e un mercato in cui i clienti più grandi hanno smesso di comprare hardware e hanno iniziato a progettarselo.