БЫСТРО: Эффективная Токенизация Действий для Моделей Видео-Язык-Действие

FAST: Efficient Action Tokenization for Vision-Language-Action Models

January 16, 2025

Авторы: Karl Pertsch, Kyle Stachowicz, Brian Ichter, Danny Driess, Suraj Nair, Quan Vuong, Oier Mees, Chelsea Finn, Sergey Levine

cs.AI

Аннотация

Авторегрессионные модели последовательностей, такие как действия на основе трансформера для визуально-языковых задач (VLA), могут быть чрезвычайно эффективны для захвата сложных и обобщаемых робототехнических поведений. Однако такие модели требуют выбора токенизации наших непрерывных сигналов действий, которая определяет, как дискретные символы, предсказанные моделью, соотносятся с непрерывными действиями робота. Мы обнаружили, что текущие подходы к токенизации действий робота, основанные на простых схемах разбиения по измерениям и временным шагам, обычно плохо справляются с обучением ловкости на основе данных роботов с высокой частотой. Для решения этой проблемы мы предлагаем новую схему токенизации действий робота на основе сжатия, используя дискретное косинусное преобразование. Наш подход к токенизации, названный Токенизация последовательности действий в частотной области (FAST), позволяет нам обучать авторегрессионные VLA для очень ловких и высокочастотных задач, где стандартные методы дискретизации полностью терпят неудачу. На основе FAST мы выпустили FAST+, универсальный токенизатор действий робота, обученный на 1 миллионе реальных траекторий действий робота. Он может использоваться как черный ящик для широкого спектра последовательностей действий робота с различными пространствами действий и частотами управления. Наконец, мы показываем, что при совмещении с VLA pi0 наш метод масштабируется для обучения на 10 тысячах часов данных робота и соответствует производительности VLA диффузии, сокращая время обучения до 5 раз.

English

Autoregressive sequence models, such as Transformer-based vision-language action (VLA) policies, can be tremendously effective for capturing complex and generalizable robotic behaviors. However, such models require us to choose a tokenization of our continuous action signals, which determines how the discrete symbols predicted by the model map to continuous robot actions. We find that current approaches for robot action tokenization, based on simple per-dimension, per-timestep binning schemes, typically perform poorly when learning dexterous skills from high-frequency robot data. To address this challenge, we propose a new compression-based tokenization scheme for robot actions, based on the discrete cosine transform. Our tokenization approach, Frequency-space Action Sequence Tokenization (FAST), enables us to train autoregressive VLAs for highly dexterous and high-frequency tasks where standard discretization methods fail completely. Based on FAST, we release FAST+, a universal robot action tokenizer, trained on 1M real robot action trajectories. It can be used as a black-box tokenizer for a wide range of robot action sequences, with diverse action spaces and control frequencies. Finally, we show that, when combined with the pi0 VLA, our method can scale to training on 10k hours of robot data and match the performance of diffusion VLAs, while reducing training time by up to 5x.