Lois d'échelle des données dans l'apprentissage par imitation pour la manipulation robotique

Data Scaling Laws in Imitation Learning for Robotic Manipulation

October 24, 2024

Auteurs: Fanqi Lin, Yingdong Hu, Pingyue Sheng, Chuan Wen, Jiacheng You, Yang Gao

cs.AI

Résumé

La mise à l'échelle des données a révolutionné des domaines tels que le traitement du langage naturel et la vision par ordinateur, offrant aux modèles des capacités de généralisation remarquables. Dans cet article, nous examinons si des lois similaires de mise à l'échelle des données existent en robotique, en particulier dans la manipulation robotique, et si une mise à l'échelle appropriée des données peut permettre d'obtenir des politiques de robot à tâche unique pouvant être déployées sans entraînement pour n'importe quel objet de la même catégorie dans n'importe quel environnement. À cette fin, nous menons une étude empirique approfondie sur la mise à l'échelle des données en apprentissage par imitation. En collectant des données dans de nombreux environnements et avec divers objets, nous étudions comment les performances de généralisation d'une politique évoluent avec le nombre d'environnements d'entraînement, d'objets et de démonstrations. Tout au long de notre recherche, nous collectons plus de 40 000 démonstrations et réalisons plus de 15 000 exécutions de robots dans le monde réel selon un protocole d'évaluation rigoureux. Nos résultats révèlent plusieurs conclusions intrigantes : les performances de généralisation de la politique suivent approximativement une relation de loi de puissance avec le nombre d'environnements et d'objets. La diversité des environnements et des objets est bien plus importante que le nombre absolu de démonstrations ; une fois que le nombre de démonstrations par environnement ou objet atteint un certain seuil, des démonstrations supplémentaires ont un effet minimal. Sur la base de ces observations, nous proposons une stratégie efficace de collecte de données. Avec quatre collecteurs de données travaillant pendant une après-midi, nous collectons suffisamment de données pour permettre aux politiques de réaliser environ 90 % de réussite pour deux tâches dans des environnements nouveaux avec des objets inconnus.

English

Data scaling has revolutionized fields like natural language processing and computer vision, providing models with remarkable generalization capabilities. In this paper, we investigate whether similar data scaling laws exist in robotics, particularly in robotic manipulation, and whether appropriate data scaling can yield single-task robot policies that can be deployed zero-shot for any object within the same category in any environment. To this end, we conduct a comprehensive empirical study on data scaling in imitation learning. By collecting data across numerous environments and objects, we study how a policy's generalization performance changes with the number of training environments, objects, and demonstrations. Throughout our research, we collect over 40,000 demonstrations and execute more than 15,000 real-world robot rollouts under a rigorous evaluation protocol. Our findings reveal several intriguing results: the generalization performance of the policy follows a roughly power-law relationship with the number of environments and objects. The diversity of environments and objects is far more important than the absolute number of demonstrations; once the number of demonstrations per environment or object reaches a certain threshold, additional demonstrations have minimal effect. Based on these insights, we propose an efficient data collection strategy. With four data collectors working for one afternoon, we collect sufficient data to enable the policies for two tasks to achieve approximately 90% success rates in novel environments with unseen objects.