CLEA: Агент с замкнутым циклом для повышения эффективности выполнения задач в динамических средах

CLEA: Closed-Loop Embodied Agent for Enhancing Task Execution in Dynamic Environments

March 2, 2025

Авторы: Mingcong Lei, Ge Wang, Yiming Zhao, Zhixin Mai, Qing Zhao, Yao Guo, Zhen Li, Shuguang Cui, Yatong Han, Jinke Ren

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют выдающиеся способности в иерархической декомпозиции сложных задач посредством семантического рассуждения. Однако их применение в воплощённых системах сталкивается с трудностями в обеспечении надёжного выполнения последовательностей подзадач и достижении успеха с первой попытки в долгосрочном выполнении задач. Для преодоления этих ограничений в динамических средах мы предлагаем архитектуру Closed-Loop Embodied Agent (CLEA) — новую систему, включающую четыре специализированные открытые LLM с функциональной декомпозицией для замкнутого управления задачами. Фреймворк включает два ключевых нововведения: (1) Интерактивный планировщик задач, который динамически генерирует исполняемые подзадачи на основе памяти о среде, и (2) Мультимодальный критик выполнения, использующий оценочную систему для вероятностной оценки выполнимости действий, запускающий механизмы иерархического перепланирования, когда возмущения среды превышают заданные пороги. Для проверки эффективности CLEA мы проводим эксперименты в реальной среде с манипулируемыми объектами, используя двух разнородных роботов для задач поиска, манипуляции и интеграции поиска с манипуляцией. В 12 испытаниях CLEA превосходит базовую модель, демонстрируя улучшение успешности на 67,3% и увеличение коэффициента завершения задач на 52,8%. Эти результаты показывают, что CLEA значительно повышает устойчивость планирования и выполнения задач в динамических средах.

English

Large Language Models (LLMs) exhibit remarkable capabilities in the hierarchical decomposition of complex tasks through semantic reasoning. However, their application in embodied systems faces challenges in ensuring reliable execution of subtask sequences and achieving one-shot success in long-term task completion. To address these limitations in dynamic environments, we propose Closed-Loop Embodied Agent (CLEA) -- a novel architecture incorporating four specialized open-source LLMs with functional decoupling for closed-loop task management. The framework features two core innovations: (1) Interactive task planner that dynamically generates executable subtasks based on the environmental memory, and (2) Multimodal execution critic employing an evaluation framework to conduct a probabilistic assessment of action feasibility, triggering hierarchical re-planning mechanisms when environmental perturbations exceed preset thresholds. To validate CLEA's effectiveness, we conduct experiments in a real environment with manipulable objects, using two heterogeneous robots for object search, manipulation, and search-manipulation integration tasks. Across 12 task trials, CLEA outperforms the baseline model, achieving a 67.3% improvement in success rate and a 52.8% increase in task completion rate. These results demonstrate that CLEA significantly enhances the robustness of task planning and execution in dynamic environments.