Die Lenkung Ihrer Generalisten: Verbesserung von Roboter-Grundmodellen durch Wertführung

Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance

October 17, 2024

Autoren: Mitsuhiko Nakamoto, Oier Mees, Aviral Kumar, Sergey Levine

cs.AI

Zusammenfassung

Große, allgemeine robotische Richtlinien, die auf vielfältigen Demonstrationsdatensätzen trainiert wurden, haben sich als bemerkenswert effektiv erwiesen, sowohl für die Steuerung einer Vielzahl von Robotern in verschiedenen Szenarien als auch für die Entwicklung umfangreicher Repertoires an Manipulationsfähigkeiten. Die Daten, auf denen solche Richtlinien trainiert werden, sind jedoch in der Regel von gemischter Qualität - nicht nur sind menschliche Demonstrationen unwahrscheinlich, die Aufgabe perfekt auszuführen, sondern je größer der Datensatz ist, desto schwieriger ist es, nur die hochwertigsten Beispiele auszuwählen. Es bleibt auch unklar, wie optimal Daten von einer Ausführung für das Training auf einer anderen Ausführung sind. In diesem Papier präsentieren wir einen allgemeinen und weitreichend anwendbaren Ansatz, der die Leistung solcher generalistischen Roboter-Richtlinien zur Bereitstellungszeit verbessert, indem ihre Aktionen gemäß einer über Offline-RL erlernten Wertefunktion neu geordnet werden. Dieser Ansatz, den wir Value-Guided Policy Steering (V-GPS) nennen, ist mit einer Vielzahl verschiedener generalistischer Richtlinien kompatibel, ohne dass die Gewichte der Richtlinie feinabgestimmt oder sogar darauf zugegriffen werden müssen. Wir zeigen, dass dieselbe Wertefunktion die Leistung von fünf verschiedenen Richtlinien auf dem neuesten Stand der Technik mit unterschiedlichen Architekturen verbessern kann, obwohl sie auf unterschiedlichen Datensätzen trainiert wurden, und dabei eine konsistente Leistungsverbesserung auf mehreren Roboterplattformen in insgesamt 12 Aufgaben erzielt. Der Code und Videos sind unter folgendem Link verfügbar: https://nakamotoo.github.io/V-GPS

English

Large, general-purpose robotic policies trained on diverse demonstration datasets have been shown to be remarkably effective both for controlling a variety of robots in a range of different scenes, and for acquiring broad repertoires of manipulation skills. However, the data that such policies are trained on is generally of mixed quality -- not only are human-collected demonstrations unlikely to perform the task perfectly, but the larger the dataset is, the harder it is to curate only the highest quality examples. It also remains unclear how optimal data from one embodiment is for training on another embodiment. In this paper, we present a general and broadly applicable approach that enhances the performance of such generalist robot policies at deployment time by re-ranking their actions according to a value function learned via offline RL. This approach, which we call Value-Guided Policy Steering (V-GPS), is compatible with a wide range of different generalist policies, without needing to fine-tune or even access the weights of the policy. We show that the same value function can improve the performance of five different state-of-the-art policies with different architectures, even though they were trained on distinct datasets, attaining consistent performance improvement on multiple robotic platforms across a total of 12 tasks. Code and videos can be found at: https://nakamotoo.github.io/V-GPS