МЕТКА: Децентрализованная структура для многоагентного иерархического обучения с подкреплением

TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

February 21, 2025

Авторы: Giuseppe Paolo, Abdelhakim Benechehab, Hamza Cherkaoui, Albert Thomas, Balázs Kégl

cs.AI

Аннотация

Иерархическая организация является фундаментальной для биологических систем и человеческих обществ, однако системы искусственного интеллекта часто полагаются на монолитные архитектуры, которые ограничивают адаптивность и масштабируемость. Существующие подходы к иерархическому обучению с подкреплением (HRL) обычно ограничивают иерархии двумя уровнями или требуют централизованного обучения, что снижает их практическую применимость. Мы представляем TAME Agent Framework (TAG), фреймворк для построения полностью децентрализованных иерархических мультиагентных систем. TAG позволяет создавать иерархии произвольной глубины с помощью нового концепта LevelEnv, который абстрагирует каждый уровень иерархии как окружение для агентов на более высоких уровнях. Этот подход стандартизирует поток информации между уровнями, сохраняя слабую связь и обеспечивая безшовную интеграцию различных типов агентов. Мы демонстрируем эффективность TAG, реализуя иерархические архитектуры, объединяющие различных агентов RL на нескольких уровнях и достигая улучшенной производительности по сравнению с классическими базовыми моделями мультиагентного RL на стандартных бенчмарках. Наши результаты показывают, что децентрализованная иерархическая организация улучшает как скорость обучения, так и конечную производительность, позиционируя TAG как многообещающее направление для масштабируемых мультиагентных систем.

English

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.