Application note: il futuro dell’Edge computing

Intervista a Pavel Konečný, CEO di Neuron soundware.

I vantaggi del modello distribuito di edge computing.

Nel 2016 stavo visitando la conferenza CEBIT ad Hannover ed osservavo componenti cosiddetti “smart” che non reputavo essere poi così “smart”, bensì semplicemente “connessi” e capaci di svolgere un solo compito ben definito.

Qualche esempio? una valvola che permetteva il controllo remoto della posizione, un misuratore di gas per controllare le perdite, una presa elettrica comandata via wi-fi…

Una sola presentazione mi ha colpito ed ha confortato la mia visione del futuro dell’Intelligenza Artificiale: il progetto SyNAPSE di IBM aveva prodotto il CMOS neuromorfico “TrueNorth”, capace di simulare il cervello di una formica con 228 sinapsi programmabili ed un consumo di 73 mW. Lo svantaggio? Il costo, di circa 1 milione di dollari al pezzo.

Cosa prova questo esempio? Dimostra che si può decentralizzare l’Intelligenza Artificiale ai limite della rete per creare “edge computing” e, a seguito della legge di Moore, è pensabile che il costo della soluzione scenda. La domanda sarà piuttosto quanto velocemente possa accadere questa dinamica e quante soluzioni appariranno sul mercato. Già ai tempi, Neuron Soundware stava seguendo questa strategia IoT con algoritmi AI distribuiti e quindi ho spostato il focus su componenti capaci di registrare file audio ad alta risoluzione e gestire le capacità AI localmente.

Qualche mese dopo, sempre nel 2016, ho svolto un’analisi che mostrasse la relazione tra consumo di energia ed Intelligenza Artificiale come funzione della velocità di un componente HW. La prima idea è stata che, con pochi mW di potenza, nessuna si può avere intelligenza a prezzi ragionevoli. Il secondo punto interessante è che uno smartphone con un consumo di diversi W di potenza può gestire riconoscimenti ed analisi AI base per pochi secondi. Arriviamo poi a Narrow AI, quale la capacità di guida automatica, che necessita di HW con potenza continuativa di centinaia di W. Le telecamere di analisi con ingressi campionati a 10 volte al secondo necessitano circa 4 TFLOPS, ovvero 4000 miliardi di operazioni floating point al secondo.

Quel giorno del 2016, IBM mi ha fatto capire che la potenza necessaria perché la mia visione di algoritmi intelligenti di analisi del suono localizzata diventasse realtà stava per essere fornita.

Edge Computing

Il modello

L’edge computing è un modello distribuito in cui l’elaborazione avviene in prossimità del luogo fisico in cui i dati vengono raccolti e analizzati e non più necessriamente su un server centralizzato o nel cloud. L’infrastruttura prevede quindi sensori per la raccolta dei dati e server perimetrali per l’elaborazione sicura dei dati in locale e in real time, nonché la possibilità di collegamento alla rete anche di altri dispositivi. L’edge computing, in quel momento, era in crescita e mi è sembrata la soluzione adeguata a quanto volevo fare.

Nel 2017, Movidius Neural Compute Stick forniva 0.1 TFLOPS a meno di 100 USD e con un consumo nominale di 0.5 W: il suo fine era di fornire a strutture poco potenti, quali un Raspberry Pi, una power boost di 10 volte la capacità computazionale.

Nel 2018, Huawei ha introdotto il processore Kirin 980 processor con 0.1 W di potenza assorbita e quasi 0.5 TFLOPS. Google ha lanciato Edge TPU mentre Rockchip ha messo sul mercato il processore RK3399 con Neural Processing Unit. Entrambi con performance di 3 TFOLPS e costi inferiori a 100 USD.

Nel 2019, microcomputers specifici con acceleratori hardware di tecnologie AI technologies (Neural Networks) sono diventati disponibili per tutti. Tutti gli attori del mercato HW hanno rilasciato il proprio prodotto ottimizzato per AI con promessa di un futuro ancora più roseo.

Google’s Edge TPU è un ASIC strutturato appositamente  il calcolo a posteriori. Nvidia Jetson Nano mette sul piatto 128 CUDA cores a meno di 100 USD. ToyBrick RK3399 Pro possiede una Neural Processing Unit per avere performance migliori di Nvidia Jetson.

Questo sviluppo rapido della tecnologia IoT ci ha permesso di sviluppare nBox – il componente edge computing capace di registrare non solo suono in alta qualità su 12 canali, ma anche fornire AI in edge computing. Fondamentalmente, forniamo solo alcuni processi in cloud o su piattaforma centrale e gestiamo la maggioranza dei processi in locale.

L’importanza dell’ edge computing diventa ovvia nel momento in cui Intel ha acquisito Movidius per una cifra stimata di 400 millioni di dollari e Mobileye, un produttore di chip automotive automono, per più di 15 miliardi di dollari. Non potete immaginare l’emozione che ho avuto quando ho visto la presentazione online di Tesla Motors con un computer sviluppato appositamente per la gestione degli algoritmi AI sulle macchine a guida autonoma con possibilità di arrivare a 36 TFLOPS. La potenza è tale da potere processare più di 2000 immagini in alta risoluzione al secondo dalle videocamere della macchina e Tesla reputa che sia adeguato al compito da svolgere.

Pertanto, vedo quattro vantaggi principali dell’ edge computing:

Sicurezza: i dati possono essere immagazzinati localmente con migliore controllo degli stessi.

Velocità: la previsione degli algoritmi AI a partire dagli input può essere svolta in millisecondi, con una latenza minima.

Efficienza: embedded micro-computers a bassa potenza sono ora disponibili a prezzi abbordabili.

Offline: gli algoritmi AI sono gestiti sul campo, dove la connettività potrebbe essere limitata.

Vantaggi di edge computing su 5G

Perché tanti sforzi su questi componenti hardware quando basterebbe aspettare l’avvento del 5G ed utilizzare la potenza del cloud nella sua infrastruttura? Ogni tecnologia deve essere sfruttata per il meglio che può dare e 5G potrebbe non essere la strategia migliore…

Immaginate di essere seduti in una vettura a guida autonoma in cui viene perduta la connettività 5G. Non solo l’automobile diventerà cieca: perderà anche la capacità decisionale fondamentale alla guida. Perché prendere questo rischio, quando le necessità di potenza richieste per alta banda e bassa latenza di comunicazione hanno praticamente lo stesso costo di un’unità di processo neurale addizionale? Ulteriormente: la richiesta di potenza totale sarebbe superiore che per l’utilizzo di algoritmi AI su componenti hardware attuali.

I provider di internet mobile vogliono un ritorno veloce dell’investimento nella rete 5G e, anche se è tecnicamente possibile che vengano forniti dei piani di dati illimitati, potrebbero non essere disponibili nel breve periodo. Facciamo un esempio? La nostra nBox con 12 sensori acustici può produrre fino a 1 Tb di dati audio al mese. Se consideriamo il costo attuale di trasferimento dati per Gb, ci rendiamo conto che trasferire questi su cloud costerebbe una fortuna.

Infine, per motivi economici, la copertura della rete 5G verrà completata per le città e lascerà le campagne scoperte. I componenti edge computing possono essere installati dovunque ad un costo chiaro e che non incrementa in maniera drammatica il costo della soluzione IoT.

Edge computing e AI permetteranno di gestire localmente processi di enorme complessità e ad un costo di accelerazione hardware marginale: la potenza di calcolo su reti neurali, infatti, sta aumentando ogni anno ad un rapporto 10x e questo trend non sembra rallentare, visto che le unità si possono utilizzare anche in parallelo, superando le potenzialità del design delle CPU tradizionali.

Il futuro sta arrivando più velocemente del previsto

L’utilizzo di edge computing in applicazioni quali vecioli a guida autonoma, riconoscimento facciale e manutenzione predittiva è solo una minima parte di quello che vedremo nel futuro. A breve avremo tutta la potenza necessaria per produrre macchine indipendenti, capaci di muoversi in maniera autonoma all’interno di città come in siti produttivi e competenti quasi come un operatore umano.

Nel 1920 lo scrittore ceco Karel Čapek, nel dramma fantascientifico “R.U.R.” (Rossumovi univerzální roboti), ha utilizzato per la prima volta la parola “Robot”. Nel dramma, i robot, costituiti di materia organica e simili agli esseri umani, diventano consapevoli della propria esistenza e sviluppano emozioni. La visione di Karel Čapek sarà poi sfruttata da tutti gli appassionati di fantascienza, non ultimo da Isaac Asimov, nato proprio nel 1920. Cento anni dopo, nel 2020, è incredibile che questa fantasia prenda forma e, vedendo gli sviluppi recenti, la visione di Čapek potrebbe diventare realtà più rapidamente di quanto non si possa credere.

[Traduzione e adattamento di Alessandro Corniani]