Occhiali intelligenti per allenare i robot
E se i robot potessero imparare semplicemente guardando gli umani?Un nuovo sistema che utilizza gli occhiali intelligenti può avvicinare quell'idea alla realtà.

Negli ultimi decenni, i robot sono apparsi in luoghi come centri commerciali, aeroporti, ospedali, uffici e case.Per servire da aiutanti, devono gestire compiti come la pulizia, il lavaggio dei piatti, la cottura e il bucato.La formazione di robot per queste attività con l'apprendimento automatico è difficile, in quanto necessita di dati o video di esseri umani che svolgono le attività.Per risolvere questo problema, i ricercatori della New York University e della UC Berkeley hanno sviluppato Egozero, un sistema che raccoglie video in prima persona utilizzando i vetri di Project Aria Smart By Meta.
Egozero usa il movimento degli occhiali intelligenti per generare rappresentazioni 3D della scena.Li combina con i dati sulla posa della mano da un modello di stima delle mani.Il sistema crea una serie di punti dati sull'azione statale, che vengono utilizzati per addestrare una politica basata su trasformi che aiuta i robot a imparare le attività.
A differenza dei sistemi precedenti, Egozero non ha bisogno di più telecamere, dispositivi indossabili da polso o guanti da motion Capture.Vengono utilizzati solo gli occhiali intelligenti per raccogliere i dati.
Egozero semplifica la raccolta dei dati per la formazione dei robot.Con 20 minuti di dimostrazioni umane, il sistema può raccogliere dati sufficienti per insegnare compiti di robot.Ciò rende la raccolta di dati più veloce e più pratica nelle impostazioni naturali.
Rimuovendo la necessità di dimostrazioni di teleoperazione o specifiche del robot, Egozero consente ai robot di imparare dal comportamento umano.Il sistema genera dati di formazione senza l'installazione richiesta dai metodi precedenti.
La politica basata su Transformer formata da Egozero opera in un ciclo chiuso, utilizzando punti dati 3D acquisiti durante la dimostrazione.Questo aiuta il robot a comprendere sia l'ambiente che le azioni necessarie per completare le attività.
Con Egozero, i ricercatori possono addestrare i robot in modo efficiente, riducendo i tempi e i costi.La capacità del sistema di trasferire le competenze umane ai robot senza dati specifici per robot consente uno sviluppo più rapido dei robot.
Man mano che diventano disponibili più dati, questo approccio potrebbe portare a robot che gestiscono compiti in case, uffici e spazi pubblici.Semplificando la formazione, Egozero può accelerare l'adozione di robot come aiutanti.