VELOCE: Tokenizzazione efficiente delle azioni per i modelli visione-linguaggio-azione

FAST: Efficient Action Tokenization for Vision-Language-Action Models

January 16, 2025

Autori: Karl Pertsch, Kyle Stachowicz, Brian Ichter, Danny Driess, Suraj Nair, Quan Vuong, Oier Mees, Chelsea Finn, Sergey Levine

cs.AI

Abstract

I modelli sequenziali autoregressivi, come le politiche visione-linguaggio basate su Transformer, possono essere estremamente efficaci per catturare comportamenti robotici complessi e generalizzabili. Tuttavia, tali modelli richiedono di scegliere una tokenizzazione dei nostri segnali di azione continui, che determina come i simboli discreti previsti dal modello si traducono in azioni robotiche continue. Troviamo che gli approcci attuali per la tokenizzazione delle azioni del robot, basati su schemi di suddivisione semplici per dimensione e timestep, di solito hanno prestazioni scadenti quando si imparano abilità destre da dati robot ad alta frequenza. Per affrontare questa sfida, proponiamo un nuovo schema di tokenizzazione basato sulla compressione per le azioni del robot, basato sulla trasformata discreta del coseno. Il nostro approccio di tokenizzazione, Tokenizzazione Sequenza Azioni Spazio Frequenza (FAST), ci consente di addestrare VLAs autoregressivi per compiti altamente destri e ad alta frequenza in cui i metodi standard di discretizzazione falliscono completamente. Basandoci su FAST, rilasciamo FAST+, un tokenizzatore di azioni robot universale, addestrato su 1M traiettorie di azioni robot reali. Può essere utilizzato come tokenizzatore black-box per una vasta gamma di sequenze di azioni robot, con spazi di azione e frequenze di controllo diversi. Infine, dimostriamo che, combinato con il VLA pi0, il nostro metodo può scalare all'addestramento su 10k ore di dati robot e eguagliare le prestazioni dei VLAs a diffusione, riducendo il tempo di addestramento fino a 5 volte.

English

Autoregressive sequence models, such as Transformer-based vision-language action (VLA) policies, can be tremendously effective for capturing complex and generalizable robotic behaviors. However, such models require us to choose a tokenization of our continuous action signals, which determines how the discrete symbols predicted by the model map to continuous robot actions. We find that current approaches for robot action tokenization, based on simple per-dimension, per-timestep binning schemes, typically perform poorly when learning dexterous skills from high-frequency robot data. To address this challenge, we propose a new compression-based tokenization scheme for robot actions, based on the discrete cosine transform. Our tokenization approach, Frequency-space Action Sequence Tokenization (FAST), enables us to train autoregressive VLAs for highly dexterous and high-frequency tasks where standard discretization methods fail completely. Based on FAST, we release FAST+, a universal robot action tokenizer, trained on 1M real robot action trajectories. It can be used as a black-box tokenizer for a wide range of robot action sequences, with diverse action spaces and control frequencies. Finally, we show that, when combined with the pi0 VLA, our method can scale to training on 10k hours of robot data and match the performance of diffusion VLAs, while reducing training time by up to 5x.