피더레이션 러닝에서 저랭크 적응을 위한 선택적 집계

Selective Aggregation for Low-Rank Adaptation in Federated Learning

October 2, 2024

저자: Pengxin Guo, Shuang Zeng, Yanran Wang, Huijie Fan, Feifei Wang, Liangqiong Qu

cs.AI

초록

우리는 LoRA를 연방 학습에서 A와 B 행렬의 비대칭 분석을 통해 조사합니다. 이를 통해 A 행렬이 일반적인 지식을 학습하는 데 책임이 있고, B 행렬은 클라이언트별 지식을 포착하는 데 초점을 맞춘다는 것을 발견했습니다. 이 발견을 기반으로, 가중치 업데이트를 모델링하기 위해 두 저랭크 훈련 가능한 A와 B 행렬을 사용하는 Federated Share-A Low-Rank Adaptation (FedSA-LoRA)을 소개합니다. 그러나 A 행렬만이 집계를 위해 서버와 공유됩니다. 또한, rsLoRA 및 VeRA와 같은 다른 LoRA 변형에서 학습된 A와 B 행렬 사이의 관계에 대해 탐구하여 일관된 패턴을 밝혀냅니다. 결과적으로, 우리는 FedSA-LoRA 방법을 이러한 LoRA 변형에 확장하여 FedSA-rsLoRA 및 FedSA-VeRA를 얻습니다. 이렇게 함으로써, LoRA를 연방 학습과 통합하는 일반적인 패러다임을 수립하여, 연방 학습과 결합된 후속 LoRA 변형에 대한 미래 작업에 대한 지침을 제공합니다. 자연어 이해 및 생성 작업에 대한 광범위한 실험 결과는 제안된 방법의 효과를 입증합니다.

English

We investigate LoRA in federated learning through the lens of the asymmetry analysis of the learned A and B matrices. In doing so, we uncover that A matrices are responsible for learning general knowledge, while B matrices focus on capturing client-specific knowledge. Based on this finding, we introduce Federated Share-A Low-Rank Adaptation (FedSA-LoRA), which employs two low-rank trainable matrices A and B to model the weight update, but only A matrices are shared with the server for aggregation. Moreover, we delve into the relationship between the learned A and B matrices in other LoRA variants, such as rsLoRA and VeRA, revealing a consistent pattern. Consequently, we extend our FedSA-LoRA method to these LoRA variants, resulting in FedSA-rsLoRA and FedSA-VeRA. In this way, we establish a general paradigm for integrating LoRA with FL, offering guidance for future work on subsequent LoRA variants combined with FL. Extensive experimental results on natural language understanding and generation tasks demonstrate the effectiveness of the proposed method.