Un Unitree G1 riceve un flusso audio in streaming e, mentre pronuncia le parole, muove braccia e mani a 120 fotogrammi al secondo. È la promessa di RoboGesture, il sistema che insegna a un robot umanoide a gesticolare senza passare dalla trascrizione del testo. La ricerca, firmata dalla cinese Galbot con Tsinghua, Peking University, Beijing Institute of Technology e Harbin Institute of Technology, arriva il 10 settembre alla seconda sessione poster di ECCV 2026.
Un dataset da mille ore per 300 categorie di gesti
La piattaforma è un Unitree G1 con mani antropomorfe BrainCo, per uno spazio cinematico di 41 gradi di libertà, 17 tra busto e braccia e 24 nelle mani. Sopra ci lavora un dataset omonimo che raccoglie oltre 300 categorie di gesti semantici, ricavati da una pipeline automatica che produce 1.000 ore di coppie audio-movimento specifiche per il robot.
L'hardware è alla portata dei laboratori universitari: il robot umanoide Unitree G1 parte da circa 13.500 dollari nel listino ufficiale, mentre la versione educational con SDK aperto arriva a 43.900 dollari. Un ordine di grandezza inferiore alle piattaforme commerciali, ma comunque fuori dai budget di ricerca ordinari.
La differenza con i metodi precedenti sta nell'input. Chi parte dal testo perde l'intonazione: la parola "davvero" sale o scende e cambia significato, ma nella trascrizione resta identica. RoboGesture tokenizza l'audio con il codec Mimi e passa i token a un allineatore addestrato con obiettivi ausiliari multipli. I livelli superficiali seguono il ritmo, i livelli profondi classificano il senso su 300 classi. Non è un dettaglio ingegneristico: la voce trasporta segnali che il cervello del neonato impara a decodificare fin dai primi mesi, e finora nessun robot li usava direttamente per muoversi.
Il difetto del "modality eclipse" e il rimedio al 15%
Il contributo che sposta davvero i numeri, e che nei titoli generalisti resta nascosto, è la diagnosi di un difetto ricorrente. Gli autori lo chiamano modality eclipse: il modello tende ad appoggiarsi all'inerzia dei gesti già eseguiti e a ripetere sequenze simili invece di reagire a ciò che arriva dall'audio. In pratica un generatore di movimento addestrato senza contromisure diventa sordo alla voce che dovrebbe accompagnare.
Il rimedio si chiama Anti-Inertia CFG Masking: durante l'addestramento il contesto storico viene oscurato con probabilità del 15%, così il modello è costretto a cercare nella voce il segnale che governa il movimento. La generazione lavora su un Diffusion Transformer con conditional flow matching e procede per blocchi successivi, in modo che il robot possa muoversi mentre la frase è ancora in corso. Il paper depositato su arXiv descrive per esteso l'architettura e la strategia di addestramento a due fasi.
Cosa dicono i benchmark BEAT e SemanticBEAT
Sui due dataset di valutazione la distanza gestuale di Fréchet scende a 0,8452, contro il 2,2316 di DiffSHEG e il 3,0147 di Semantic Gesticulator. Il tasso di fotogrammi in cui il robot arriva a toccarsi crolla: 0,88% su BEAT e 0,13% su SemanticBEAT, dove SemTalk arriva rispettivamente al 52,82% e al 42,65%. Un merito va al filtro di sicurezza che precede l'esecuzione: un problema di programmazione quadratica convessa risolto in 5,6 ms per fotogramma, ampiamente dentro la frequenza di controllo del robot fissata a 30 Hz.
Resta un dato in controtendenza. La diversità dei movimenti prodotti si ferma a 0,2075, sotto lo 0,2818 di Semantic Gesticulator: RoboGesture è più preciso e più coerente con l'audio, ma anche più prevedibile nel repertorio. Il traguardo pratico è comunque netto: il ciclo ascolta-risponde-gesticola si chiude in circa due secondi, con la latenza dominata dalla catena vocale a monte e non dal generatore di movimento.
Le quattro applicazioni presentate (assistenza sociale, sostegno emotivo, divulgazione e comunicazione sul posto di lavoro) segnano la direzione della robotica interattiva, dove l'integrazione uomo-macchina già cambia la riabilitazione motoria. Sul rilascio di dataset e codice il team non si sbilancia. L'appuntamento pubblico è al padiglione poster #178 di ECCV 2026, giovedì 10 settembre dalle 16:30 alle 18:30.
Domande frequenti
In che cosa consiste la principale innovazione di RoboGesture rispetto ai metodi precedenti?
RoboGesture elabora direttamente il flusso audio, senza passare dalla trascrizione del testo, permettendo al robot di gesticolare in tempo reale seguendo intonazione e ritmo della voce. Questo approccio consente una maggiore coerenza tra voce e movimento rispetto ai metodi basati solo sul testo.
Che tipo di hardware viene utilizzato per RoboGesture e quanto è accessibile?
La piattaforma si basa su un robot umanoide Unitree G1 con mani antropomorfe BrainCo, che offre 41 gradi di libertà. Il costo parte da circa 13.500 dollari, ma la versione educativa con SDK aperto arriva a 43.900 dollari: prezzi inferiori a soluzioni commerciali, ma ancora elevati per la maggior parte dei laboratori universitari.
Come viene affrontato il problema del 'modality eclipse' nel sistema RoboGesture?
Il 'modality eclipse' è contrastato tramite la tecnica Anti-Inertia CFG Masking, che oscura il contesto storico dei movimenti con una probabilità del 15% durante l'addestramento. In questo modo il modello è costretto a basarsi maggiormente sull'audio piuttosto che ripetere gesti già eseguiti.
Quali sono i risultati ottenuti da RoboGesture nei benchmark rispetto ad altri sistemi?
Nei test su BEAT e SemanticBEAT, RoboGesture mostra una distanza gestuale di Fréchet significativamente più bassa rispetto ai concorrenti e una riduzione notevole dei casi in cui il robot si tocca. Tuttavia, la varietà dei movimenti risulta inferiore, rendendo il sistema più prevedibile ma più preciso e coerente con l'audio.
Quali sono le potenziali applicazioni pratiche di RoboGesture?
Le applicazioni principali includono assistenza sociale, sostegno emotivo, divulgazione e comunicazione sul posto di lavoro, con un impatto particolare nella robotica interattiva e nella riabilitazione motoria. L'obiettivo è favorire una migliore integrazione uomo-macchina in contesti interattivi.
Sono disponibili il dataset e il codice di RoboGesture per la comunità scientifica?
Al momento il team di ricerca non si è sbilanciato sul rilascio pubblico di dataset e codice. Maggiori informazioni potrebbero essere fornite durante la presentazione a ECCV 2026.
