RoboFactory: Erforschung der Zusammenarbeit verkörperter Agenten mit kompositionellen Einschränkungen

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

March 20, 2025

Autoren: Yiran Qin, Li Kang, Xiufeng Song, Zhenfei Yin, Xiaohong Liu, Xihui Liu, Ruimao Zhang, Lei Bai

cs.AI

Zusammenfassung

Die Gestaltung effektiver verkörperter Multi-Agenten-Systeme ist entscheidend für die Lösung komplexer realer Aufgaben in verschiedenen Domänen. Aufgrund der Komplexität verkörperter Multi-Agenten-Systeme scheitern bestehende Methoden daran, automatisch sichere und effiziente Trainingsdaten für solche Systeme zu generieren. Zu diesem Zweck schlagen wir das Konzept der kompositionellen Beschränkungen für verkörperte Multi-Agenten-Systeme vor, das die Herausforderungen der Zusammenarbeit zwischen verkörperten Agenten adressiert. Wir entwerfen verschiedene Schnittstellen, die auf unterschiedliche Arten von Beschränkungen zugeschnitten sind und eine nahtlose Interaktion mit der physischen Welt ermöglichen. Unter Nutzung kompositioneller Beschränkungen und speziell entwickelter Schnittstellen entwickeln wir ein automatisiertes Datenerfassungsframework für verkörperte Multi-Agenten-Systeme und führen den ersten Benchmark für verkörperte Multi-Agenten-Manipulation, RoboFactory, ein. Basierend auf dem RoboFactory-Benchmark passen wir die Methode des Imitationslernens an und bewerten ihre Leistung in Aufgaben mit unterschiedlichem Schwierigkeitsgrad für Agenten. Darüber hinaus untersuchen wir die Architekturen und Trainingsstrategien für Multi-Agenten-Imitationslernen, mit dem Ziel, sichere und effiziente verkörperte Multi-Agenten-Systeme zu entwickeln.

English

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.