Taalas sfida la progettazione convenzionale dei chip incorporando interi modelli di intelligenza artificiale direttamente nel silicio

Un design del processore completamente diverso incorpora interi modelli di intelligenza artificiale nel silicio, offrendo velocità e prestazioni estremamente elevate per carichi di lavoro di inferenza di prossima generazione.

La nuova architettura del processore AI di Taalas sfida la progettazione convenzionale dei chip incorporando interi modelli AI direttamente nel silicio e aumenta notevolmente le prestazioni e l'efficienza dell'inferenza. Questo approccio elimina la necessità dei tradizionali livelli di implementazione del software, consentendo risposte immediate e riducendo significativamente i costi operativi.


A differenza delle GPU generiche e degli acceleratori IA che privilegiano la flessibilità, questa architettura è progettata per la specializzazione di un singolo modello. Ogni chip è progettato su misura per uno specifico modello di intelligenza artificiale e ne collega i parametri e il peso al silicio stesso. Questa modifica aumenta le prestazioni di uno o due ordini di grandezza rispetto alle soluzioni esistenti.

Le caratteristiche principali includono:

Collega un modello AI completo (pesi + parametri) direttamente al silicio
Fornisce prestazioni di inferenza 10-100 volte superiori rispetto alle GPU
Latenza inferiore al millisecondo con oltre 14.000 token al secondo
Costo per token fino a 100 volte inferiore per i carichi di lavoro di inferenza
Ciclo di sviluppo rapido del chip (~2 mesi per modello)**
Il processore può essere sviluppato entro due mesi dal rilascio del modello, consentendo una rapida implementazione di hardware ottimizzato. Le prime dimostrazioni mostrano una latenza inferiore al millisecondo e un throughput di oltre 14.000 token al secondo su modelli vernacolari, facendo sembrare gli output quasi istantanei.


Questo salto di performance si traduce anche in importanti vantaggi economici. I costi di inferenza sono ridotti a una frazione dell’1% per milione di token – molto più bassi rispetto ai sistemi basati su GPU – consentendo potenzialmente ai fornitori di servizi cloud di gestire molte più richieste a un costo inferiore.

Tuttavia, il design presenta dei compromessi. Concentrandosi su un singolo modello, il chip sacrifica la programmabilità e non può essere utilizzato per altri carichi di lavoro. Sebbene la flessibilità limitata possa limitare un’adozione più ampia, l’architettura rappresenta un passo importante verso la specializzazione estrema nell’hardware AI.

Questo sviluppo rappresenta un crescente spostamento del settore verso il silicio specifico per un dominio, dove i miglioramenti in termini di prestazioni ed efficienza superano la necessità di elaborazione per scopi generali. Se ampiamente utilizzato, questo approccio basato su modelli potrebbe rimodellare l’infrastruttura dell’intelligenza artificiale, in particolare per carichi di lavoro di inferenza ad alto volume.