매개변수 공간에서의 기술 확장과 구성

Skill Expansion and Composition in Parameter Space

February 9, 2025

저자: Tenglong Liu, Jianxiong Li, Yinan Zheng, Haoyi Niu, Yixing Lan, Xin Xu, Xianyuan Zhan

cs.AI

초록

인간은 새로운 도전에 대처하고 문제를 해결하면서 이전 지식을 재사용하고 기술을 개발하는 데 뛰어나 있습니다. 이 패러다임은 자율 에이전트의 개발에서 점점 더 인기를 얻고 있으며, 이는 인간과 같이 새로운 도전에 대응하여 스스로 진화할 수 있는 시스템을 개발합니다. 그러나 이전 방법들은 새로운 기술을 확장할 때 훈련 효율성이 제한되며 새로운 작업 학습을 용이하게 하는 데 이전 지식을 완전히 활용하지 못하는 문제가 있습니다. 본 논문에서는 에이전트의 능력을 반복적으로 발전시키고 관리 가능한 기술 라이브러리를 유지하면서 새로운 도전에 효율적으로 대응하기 위해 설계된 새로운 프레임워크인 Parametric Skill Expansion and Composition (PSEC)을 제안합니다. 이 라이브러리는 점진적으로 스킬 기본 요소를 통합하여 파라미터 효율적인 파인튜닝에서 플러그 앤 플레이 저랭크 적응 (LoRA) 모듈로 확장 가능하고 유연한 기술 확장을 용이하게 합니다. 이 구조는 또한 서로 다른 기술을 인코딩하는 LoRA 모듈을 병합하여 파라미터 공간에서 직접 기술을 조합할 수 있도록 하여, 기존 기술 간의 공유 정보를 활용하여 새로운 기술을 효과적으로 프로그래밍할 수 있습니다. 이를 기반으로 우리는 새로운 작업을 협력하여 처리하기 위해 동적으로 다양한 기술을 활성화하는 컨텍스트 인식 모듈을 제안합니다. D4RL, DSRL 벤치마크 및 DeepMind Control Suite에서의 결과는 PSEC가 새로운 도전에 효율적으로 대처하고 기술 라이브러리를 확장하여 능력을 발전시키는 데 우수한 능력을 보여준다는 것을 보여줍니다. 프로젝트 웹사이트: https://ltlhuuu.github.io/PSEC/.

English

Humans excel at reusing prior knowledge to address new challenges and developing skills while solving problems. This paradigm becomes increasingly popular in the development of autonomous agents, as it develops systems that can self-evolve in response to new challenges like human beings. However, previous methods suffer from limited training efficiency when expanding new skills and fail to fully leverage prior knowledge to facilitate new task learning. In this paper, we propose Parametric Skill Expansion and Composition (PSEC), a new framework designed to iteratively evolve the agents' capabilities and efficiently address new challenges by maintaining a manageable skill library. This library can progressively integrate skill primitives as plug-and-play Low-Rank Adaptation (LoRA) modules in parameter-efficient finetuning, facilitating efficient and flexible skill expansion. This structure also enables the direct skill compositions in parameter space by merging LoRA modules that encode different skills, leveraging shared information across skills to effectively program new skills. Based on this, we propose a context-aware module to dynamically activate different skills to collaboratively handle new tasks. Empowering diverse applications including multi-objective composition, dynamics shift, and continual policy shift, the results on D4RL, DSRL benchmarks, and the DeepMind Control Suite show that PSEC exhibits superior capacity to leverage prior knowledge to efficiently tackle new challenges, as well as expand its skill libraries to evolve the capabilities. Project website: https://ltlhuuu.github.io/PSEC/.