Project Brainwave e la piattaforma di AI in tempo reale di Microsoft

In occasione della manifestazione Hot Chips 2017 Microsoft ha svelato la nuova piattaforma di deep learning che va sotto il nome in codice di Project Brainwave. L'azienda di Redmond ha progettato la nuova piattaforma con l'obiettivo dell'Intelligenza Artificiale in tempo reale, così che il sistema possa elaborare le richieste che riceve in maniera rapida e a bassissima latenza.

Project Brainwave si poggia sull'infrastruttura FPGA che Microsoft ha messo in opera nel corso degli ultimi anni. Collegando FPGA ad alte prestazioni direttamente alla rete di datacenter è possibile servire DNN (Deep Neural Network) come microservizi hardware, laddove una DNN può essere mappata ad un pool di FPGA remoti e chiamata da un server senza alcun intervento software nel mezzo. Questa architettura riduce la latenza, dal momento che la CPU non ha bisogno di elaborare le richieste in ingresso, e mette a disposizione un throughput elevatissimo con gli FPGA che elaborano le richieste non appena la rete le trasmette loro.

Project Brianwave usa unità di elaborazione soft-DNN (DPU) sintetizzate su FPGA di livello commerciale, laddove oggi molti progetti AI si basano su DPU hard-coded. Questo approccio permette di sfruttare la flessibilità degli FPGA in due modi: dapprima si può disporre di tipi di dati personalizzati che incrementano le prestazioni senza una reale perdita nell'accuratezza del modello, in secondo luogo è possibile integrare le innovazioni di ricerca nella piattaforma hardware molto velocemente, una caratteristica essenziale in un ambiente a rapida evoluzione come questo. Di conseguenza le prestazioni che questo sistema raggiunge sono comparabili, e in alcuni casi superiori, a quelle di molti chip DPU hard-coded di oggi. Project Brainwave incorpora uno stack software progettato per supportare un'ampia gamma di framework deep learning, tra i quali Microsoft Cognitive Toolkit e Google Tensorflow, ma anche molti altri.

Durante Hot Chips Microsoft ha dato dimostrazione del sistema Project Brianwave portato sul nuovo FPGA Stratix 10 di Intel realizzato a 14nm. Utilizzando il formato proprietario di Microsoft floating point a 8-bit, Stratix 10 è stato capace di mantenere una capacità elaborativa di 39,5 Teraflop su un modello Gated Recurrent Unit di grandi dimensioni (cinque volte più grande della CNN Resnet-50), così da riuscire a rispondere a ciascuna richiesta in meno di un millisecondo. Con questo livello di prestazioni Project Briawave raggungere la capacità di eseguire oltre 130 mila operazioni di computazione per ciclo, guidate da una macro-istruzione emessa ogni 10 cicli. Microsoft si attende prestazoni ancora superiori, avendo in vista una ottimizzazione della piattaforma nei prossimi mesi.

La società di Redmond ha ora l'obiettivo di portare Project Brainwave all'interno di Azure, così che i clienti possano beneficiare direttamente delle potenzialità dell'AI in tempo reale. Ulteriori dettagli saranno rilasciati in un secondo momento. L'integrazione di Project Brainwave in Azure consentirà a Microsoft di mettere a disposizione capacità AI in tempo reale di primo piano nel settore.