CasaNotizieUntether AI ripensa l'architettura di Von Neumann per le schede acceleratrici di inferenza AI

Untether AI ripensa l'architettura di Von Neumann per le schede acceleratrici di inferenza AI

Invece di un'architettura Von Neumann convenzionale progettata per spostare i dati, i dispositivi run200AI utilizzati nelle schede acceleratrici tsunAImi sono progettati per il calcolo. L'elemento di elaborazione si trova all'interno della memoria per creare un array di elaborazione distribuito.

I dispositivi runAI200 utilizzano tipi di dati interi e una modalità batch di 1. Il banco di memoria ha 385kbyte di SRAM con un array 2D di 512 elementi di elaborazione. Ci sono 511 banchi per chip, che si combinano per fornire 200 Mbyte per dispositivo. Il funzionamento è fino a 502 TOPS in modalità "sport". Configurato in modalità "eco", offre 8 TOPS.

La potenza di calcolo della scheda acceleratrice si traduce in oltre 80.000 fps di throughput ResNet-50 v 1.5 a batch = 1, o tre volte il throughput del suo concorrente più vicino, afferma l'azienda. In un altro test di benchmark, per l'elaborazione del linguaggio naturale, le schede acceleratrici possono elaborare più di 12.000 query al secondo di BERT-base, afferma la società. Questo è quattro volte più veloce di qualsiasi prodotto annunciato, dice.


I dispositivi runAI200 sono prodotti utilizzando un processo economico a 16 nm.

L'intelligenza artificiale per inferenza sarà un elemento significativo nei data center, dove la sua densità di calcolo accelererà le prestazioni per le città intelligenti e altre applicazioni di intelligenza artificiale e apprendimento automatico.

La scheda acceleratrice tsunAImi è una scheda PCI Express con fattore di forma standard da utilizzare nel cloud o nei server. Supporta il software aperto TensorFlow e PyTorch per l'apprendimento automatico.

Per accompagnare la scheda acceleratrice, il kit di sviluppo software (SDK) di Untether AI imAIgine dispone di quantizzazione, ottimizzazione, allocazione fisica e partizionamento multi-chip tramite pulsanti. Fornisce inoltre un toolkit di visualizzazione, un simulatore con accuratezza del ciclo e un'API runtime per l'integrazione.

La scheda acceleratrice tsunAImi è in fase di campionamento e sarà disponibile in commercio nel primo trimestre del 2021. imAIgine SDK è in fase di accesso anticipato con clienti e partner selezionati.