Dita: Scalabilità del Trasformatore a Diffusione per Politiche Generaliste di Visione-Linguaggio-Azione

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

March 25, 2025

Autori: Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

cs.AI

Abstract

Mentre i recenti modelli visione-linguaggio-azione addestrati su dataset robotici diversificati mostrano promettenti capacità di generalizzazione con dati in dominio limitati, la loro dipendenza da testine di azione compatte per prevedere azioni discretizzate o continue limita l'adattabilità a spazi di azione eterogenei. Presentiamo Dita, un framework scalabile che sfrutta architetture Transformer per denoisare direttamente sequenze di azioni continue attraverso un processo di diffusione multimodale unificato. Diversamente dai metodi precedenti che condizionano il denoising su embedding fusi tramite reti superficiali, Dita impiega il condizionamento in-context, consentendo un allineamento granulare tra azioni denoisate e token visivi grezzi provenienti da osservazioni storiche. Questo design modella esplicitamente i delta delle azioni e le sfumature ambientali. Scalando il denoiser di azioni a diffusione insieme alla scalabilità del Transformer, Dita integra efficacemente dataset cross-embodiment attraverso diverse prospettive della telecamera, scene di osservazione, compiti e spazi di azione. Tale sinergia migliora la robustezza contro varie varianze e facilita l'esecuzione con successo di compiti a lungo termine. Le valutazioni su ampi benchmark dimostrano prestazioni all'avanguardia o comparabili in simulazione. In particolare, Dita raggiunge un adattamento robusto nel mondo reale alle varianze ambientali e ai compiti complessi a lungo termine attraverso il fine-tuning a 10-shot, utilizzando solo input da telecamere in terza persona. L'architettura stabilisce una baseline versatile, leggera e open-source per l'apprendimento di politiche robotiche generaliste. Pagina del progetto: https://robodita.github.io.

English

While recent vision-language-action models trained on diverse robot datasets exhibit promising generalization capabilities with limited in-domain data, their reliance on compact action heads to predict discretized or continuous actions constrains adaptability to heterogeneous action spaces. We present Dita, a scalable framework that leverages Transformer architectures to directly denoise continuous action sequences through a unified multimodal diffusion process. Departing from prior methods that condition denoising on fused embeddings via shallow networks, Dita employs in-context conditioning -- enabling fine-grained alignment between denoised actions and raw visual tokens from historical observations. This design explicitly models action deltas and environmental nuances. By scaling the diffusion action denoiser alongside the Transformer's scalability, Dita effectively integrates cross-embodiment datasets across diverse camera perspectives, observation scenes, tasks, and action spaces. Such synergy enhances robustness against various variances and facilitates the successful execution of long-horizon tasks. Evaluations across extensive benchmarks demonstrate state-of-the-art or comparative performance in simulation. Notably, Dita achieves robust real-world adaptation to environmental variances and complex long-horizon tasks through 10-shot finetuning, using only third-person camera inputs. The architecture establishes a versatile, lightweight and open-source baseline for generalist robot policy learning. Project Page: https://robodita.github.io.