Un Unitree G1 riceve un flusso audio in streaming e, mentre pronuncia le parole, muove braccia e mani a 120 fotogrammi al secondo. È la promessa di RoboGesture, il sistema che insegna a un robot umanoide a gesticolare senza passare dalla trascrizione del testo. La ricerca, firmata dalla cinese Galbot con Tsinghua, Peking University, Beijing Institute of Technology e Harbin Institute of Technology, arriva il 10 settembre alla seconda sessione poster di ECCV 2026.
Un dataset da mille ore per 300 categorie di gesti
La piattaforma è un Unitree G1 con mani antropomorfe BrainCo, per uno spazio cinematico di 41 gradi di libertà, 17 tra busto e braccia e 24 nelle mani. Sopra ci lavora un dataset omonimo che raccoglie oltre 300 categorie di gesti semantici, ricavati da una pipeline automatica che produce 1.000 ore di coppie audio-movimento specifiche per il robot.
L'hardware è alla portata dei laboratori universitari: il robot umanoide Unitree G1 parte da circa 13.500 dollari nel listino ufficiale, mentre la versione educational con SDK aperto arriva a 43.900 dollari. Un ordine di grandezza inferiore alle piattaforme commerciali, ma comunque fuori dai budget di ricerca ordinari.
La differenza con i metodi precedenti sta nell'input. Chi parte dal testo perde l'intonazione: la parola "davvero" sale o scende e cambia significato, ma nella trascrizione resta identica. RoboGesture tokenizza l'audio con il codec Mimi e passa i token a un allineatore addestrato con obiettivi ausiliari multipli. I livelli superficiali seguono il ritmo, i livelli profondi classificano il senso su 300 classi. Non è un dettaglio ingegneristico: la voce trasporta segnali che il cervello del neonato impara a decodificare fin dai primi mesi, e finora nessun robot li usava direttamente per muoversi.
Il difetto del "modality eclipse" e il rimedio al 15%
Il contributo che sposta davvero i numeri, e che nei titoli generalisti resta nascosto, è la diagnosi di un difetto ricorrente. Gli autori lo chiamano modality eclipse: il modello tende ad appoggiarsi all'inerzia dei gesti già eseguiti e a ripetere sequenze simili invece di reagire a ciò che arriva dall'audio. In pratica un generatore di movimento addestrato senza contromisure diventa sordo alla voce che dovrebbe accompagnare.
Il rimedio si chiama Anti-Inertia CFG Masking: durante l'addestramento il contesto storico viene oscurato con probabilità del 15%, così il modello è costretto a cercare nella voce il segnale che governa il movimento. La generazione lavora su un Diffusion Transformer con conditional flow matching e procede per blocchi successivi, in modo che il robot possa muoversi mentre la frase è ancora in corso. Il paper depositato su arXiv descrive per esteso l'architettura e la strategia di addestramento a due fasi.
Cosa dicono i benchmark BEAT e SemanticBEAT
Sui due dataset di valutazione la distanza gestuale di Fréchet scende a 0,8452, contro il 2,2316 di DiffSHEG e il 3,0147 di Semantic Gesticulator. Il tasso di fotogrammi in cui il robot arriva a toccarsi crolla: 0,88% su BEAT e 0,13% su SemanticBEAT, dove SemTalk arriva rispettivamente al 52,82% e al 42,65%. Un merito va al filtro di sicurezza che precede l'esecuzione: un problema di programmazione quadratica convessa risolto in 5,6 ms per fotogramma, ampiamente dentro la frequenza di controllo del robot fissata a 30 Hz.
Resta un dato in controtendenza. La diversità dei movimenti prodotti si ferma a 0,2075, sotto lo 0,2818 di Semantic Gesticulator: RoboGesture è più preciso e più coerente con l'audio, ma anche più prevedibile nel repertorio. Il traguardo pratico è comunque netto: il ciclo ascolta-risponde-gesticola si chiude in circa due secondi, con la latenza dominata dalla catena vocale a monte e non dal generatore di movimento.
Le quattro applicazioni presentate (assistenza sociale, sostegno emotivo, divulgazione e comunicazione sul posto di lavoro) segnano la direzione della robotica interattiva, dove l'integrazione uomo-macchina già cambia la riabilitazione motoria. Sul rilascio di dataset e codice il team non si sbilancia. L'appuntamento pubblico è al padiglione poster #178 di ECCV 2026, giovedì 10 settembre dalle 16:30 alle 18:30.