高速: ビジョン-言語-アクションモデルのための効率的なアクションのトークン化

FAST: Efficient Action Tokenization for Vision-Language-Action Models

January 16, 2025

著者: Karl Pertsch, Kyle Stachowicz, Brian Ichter, Danny Driess, Suraj Nair, Quan Vuong, Oier Mees, Chelsea Finn, Sergey Levine

cs.AI

要旨

オートレグレッション系列モデル、例えばTransformerベースのビジョン言語行動（VLA）ポリシーは、複雑で汎用性のあるロボットの振る舞いを捉えるのに非常に効果的です。ただし、このようなモデルでは、連続的なアクション信号のトークン化を選択する必要があります。これにより、モデルによって予測される離散的なシンボルが連続的なロボットのアクションにどのようにマップされるかが決まります。現在のロボットアクションのトークン化手法は、単純な次元ごと、タイムステップごとのビニングスキームに基づいているため、高頻度のロボットデータから熟練したスキルを学習する際に通常は性能が低いことがわかっています。この課題に対処するために、離散コサイン変換に基づく新しい圧縮ベースのロボットアクションのトークン化スキームを提案します。このトークン化手法、Frequency-space Action Sequence Tokenization（FAST）は、標準の離散化手法が完全に失敗する高度な熟練度と高頻度のタスクのためにオートレグレッションVLAをトレーニングすることを可能にします。FASTに基づいて、1Mの実際のロボットアクショントラジェクトリでトレーニングされた汎用ロボットアクショントークナイザーであるFAST+をリリースします。これは、多様なアクションスペースと制御周波数を持つ幅広い範囲のロボットアクションシーケンスに対してブラックボックストークナイザーとして使用できます。最後に、pi0 VLAと組み合わせることで、当社の手法は、最大10k時間のロボットデータでトレーニングし、拡散VLAの性能に匹敵しながら、トレーニング時間を最大5倍短縮できることを示します。

English

Autoregressive sequence models, such as Transformer-based vision-language action (VLA) policies, can be tremendously effective for capturing complex and generalizable robotic behaviors. However, such models require us to choose a tokenization of our continuous action signals, which determines how the discrete symbols predicted by the model map to continuous robot actions. We find that current approaches for robot action tokenization, based on simple per-dimension, per-timestep binning schemes, typically perform poorly when learning dexterous skills from high-frequency robot data. To address this challenge, we propose a new compression-based tokenization scheme for robot actions, based on the discrete cosine transform. Our tokenization approach, Frequency-space Action Sequence Tokenization (FAST), enables us to train autoregressive VLAs for highly dexterous and high-frequency tasks where standard discretization methods fail completely. Based on FAST, we release FAST+, a universal robot action tokenizer, trained on 1M real robot action trajectories. It can be used as a black-box tokenizer for a wide range of robot action sequences, with diverse action spaces and control frequencies. Finally, we show that, when combined with the pi0 VLA, our method can scale to training on 10k hours of robot data and match the performance of diffusion VLAs, while reducing training time by up to 5x.