SNEL: Efficiënte Actie Tokenisatie voor Visie-Taal-Actie Modellen

FAST: Efficient Action Tokenization for Vision-Language-Action Models

January 16, 2025

Auteurs: Karl Pertsch, Kyle Stachowicz, Brian Ichter, Danny Driess, Suraj Nair, Quan Vuong, Oier Mees, Chelsea Finn, Sergey Levine

cs.AI

Samenvatting

Autoregressieve sequentiemodellen, zoals op Transformer gebaseerde visie-taalactie (VLA) beleidslijnen, kunnen buitengewoon effectief zijn voor het vastleggen van complexe en generaliseerbare robotgedragingen. Echter, dergelijke modellen vereisen dat we een tokenisatie van onze continue actiesignalen kiezen, wat bepaalt hoe de discrete symbolen die voorspeld worden door het model worden gekoppeld aan continue robotacties. We constateren dat huidige benaderingen voor robotactie-tokenisatie, gebaseerd op eenvoudige per-dimensie, per-tijdstap binnenschema's, doorgaans slecht presteren bij het aanleren van behendige vaardigheden van hoogfrequente robotgegevens. Om deze uitdaging aan te pakken, stellen we een nieuw op compressie gebaseerd tokenisatieschema voor voor robotacties, gebaseerd op de discrete cosinustransformatie. Onze tokeniseringsbenadering, Frequency-space Action Sequence Tokenization (FAST), stelt ons in staat om autoregressieve VLA's te trainen voor zeer behendige en hoogfrequente taken waar standaard discretisatiemethoden volledig tekortschieten. Gebaseerd op FAST, brengen we FAST+ uit, een universele robotactietokenizer, getraind op 1M echte robotactietrajecten. Het kan worden gebruikt als een black-box tokenizer voor een breed scala aan robotactiesequenties, met diverse actieruimtes en controlefrequenties. Ten slotte tonen we aan dat, wanneer gecombineerd met de pi0 VLA, onze methode kan worden opgeschaald naar training op 10k uur aan robotgegevens en de prestaties van diffusie VLA's kan evenaren, terwijl de trainingsduur tot 5x wordt verkort.

English

Autoregressive sequence models, such as Transformer-based vision-language action (VLA) policies, can be tremendously effective for capturing complex and generalizable robotic behaviors. However, such models require us to choose a tokenization of our continuous action signals, which determines how the discrete symbols predicted by the model map to continuous robot actions. We find that current approaches for robot action tokenization, based on simple per-dimension, per-timestep binning schemes, typically perform poorly when learning dexterous skills from high-frequency robot data. To address this challenge, we propose a new compression-based tokenization scheme for robot actions, based on the discrete cosine transform. Our tokenization approach, Frequency-space Action Sequence Tokenization (FAST), enables us to train autoregressive VLAs for highly dexterous and high-frequency tasks where standard discretization methods fail completely. Based on FAST, we release FAST+, a universal robot action tokenizer, trained on 1M real robot action trajectories. It can be used as a black-box tokenizer for a wide range of robot action sequences, with diverse action spaces and control frequencies. Finally, we show that, when combined with the pi0 VLA, our method can scale to training on 10k hours of robot data and match the performance of diffusion VLAs, while reducing training time by up to 5x.