Dita: Skalierung des Diffusion Transformers für eine generalistische Vision-Sprache-Handlungs-Politik

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

March 25, 2025

Autoren: Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

cs.AI

Zusammenfassung

Während neuere Vision-Sprache-Aktion-Modelle, die auf diversen Roboterdatensätzen trainiert wurden, vielversprechende Generalisierungsfähigkeiten mit begrenzten in-domain-Daten zeigen, schränkt ihre Abhängigkeit von kompakten Aktionsköpfen zur Vorhersage diskretisierter oder kontinuierlicher Aktionen die Anpassungsfähigkeit an heterogene Aktionsräume ein. Wir stellen Dita vor, ein skalierbares Framework, das Transformer-Architekturen nutzt, um kontinuierliche Aktionssequenzen direkt durch einen einheitlichen multimodalen Diffusionsprozess zu entrauschen. Im Gegensatz zu früheren Methoden, die die Entrauschung auf fusionierte Embeddings über flache Netzwerke konditionieren, verwendet Dita In-Context-Konditionierung – was eine fein abgestimmte Ausrichtung zwischen entrauschten Aktionen und rohen visuellen Tokens aus historischen Beobachtungen ermöglicht. Dieses Design modelliert explizit Aktionsdeltas und Umweltnuancen. Durch die Skalierung des Diffusions-Aktionsentrauschers zusammen mit der Skalierbarkeit des Transformers integriert Dita effektiv Cross-Embodiment-Datensätze über diverse Kameraperspektiven, Beobachtungsszenen, Aufgaben und Aktionsräume hinweg. Diese Synergie erhöht die Robustheit gegenüber verschiedenen Varianzen und erleichtert die erfolgreiche Ausführung langfristiger Aufgaben. Bewertungen über umfangreiche Benchmarks zeigen state-of-the-art oder vergleichbare Leistungen in der Simulation. Bemerkenswerterweise erreicht Dita eine robuste Anpassung an reale Umgebungsvarianzen und komplexe langfristige Aufgaben durch 10-Shot-Finetuning, wobei nur Third-Person-Kameraeingaben verwendet werden. Die Architektur etabliert eine vielseitige, leichtgewichtige und Open-Source-Baseline für das generalistische Robot Policy Learning. Projektseite: https://robodita.github.io.

English

While recent vision-language-action models trained on diverse robot datasets exhibit promising generalization capabilities with limited in-domain data, their reliance on compact action heads to predict discretized or continuous actions constrains adaptability to heterogeneous action spaces. We present Dita, a scalable framework that leverages Transformer architectures to directly denoise continuous action sequences through a unified multimodal diffusion process. Departing from prior methods that condition denoising on fused embeddings via shallow networks, Dita employs in-context conditioning -- enabling fine-grained alignment between denoised actions and raw visual tokens from historical observations. This design explicitly models action deltas and environmental nuances. By scaling the diffusion action denoiser alongside the Transformer's scalability, Dita effectively integrates cross-embodiment datasets across diverse camera perspectives, observation scenes, tasks, and action spaces. Such synergy enhances robustness against various variances and facilitates the successful execution of long-horizon tasks. Evaluations across extensive benchmarks demonstrate state-of-the-art or comparative performance in simulation. Notably, Dita achieves robust real-world adaptation to environmental variances and complex long-horizon tasks through 10-shot finetuning, using only third-person camera inputs. The architecture establishes a versatile, lightweight and open-source baseline for generalist robot policy learning. Project Page: https://robodita.github.io.