페럿: 대규모 언어 모델을 위한 규모 확장형 페더레이티드 전체 매개변수 튜닝

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models

September 10, 2024

저자: Yao Shu, Wenyang Hu, See-Kiong Ng, Bryan Kian Hsiang Low, Fei Richard Yu

cs.AI

초록

대형 언어 모델(Large Language Models, LLMs)은 다양한 실제 응용 프로그램에서 필수불가결한 존재가 되었습니다. 불행하게도, 데이터 프라이버시와 통신 효율이 중요한 연합 환경에서 규모에 맞게 이러한 모델을 세밀하게 조정하는 것은 상당한 어려움을 야기합니다. 기존 방법은 종종 통신 오버헤드를 완화하기 위해 매개 효율적인 세밀 조정(Parameter-efficient fine-tuning, PEFT)에 의존하지만, 이는 일반적으로 모델 정확도를 희생시키는 대가로 이루어집니다. 이러한 제한 사항을 해결하기 위해 우리는 LLMs에 대한 규모에 맞는 연합 전체 매개 조정(Ferret)을 제안합니다. 이는 경쟁력 있는 모델 정확도를 유지하면서 분산 데이터 원본 간에 LLMs의 확장 가능한 전체 매개 조정을 가능케 하는 공유된 무작위성을 가진 첫 번째 일차 방법입니다. Ferret은 이를 세 가지 측면을 통해 달성합니다: (1) 효율적인 로컬 업데이트를 위해 널리 적용된 일차 방법을 사용합니다; (2) 이러한 업데이트를 저차원 공간으로 투영하여 통신 오버헤드를 크게 줄입니다; 그리고 (3) 이 저차원 공간에서 공유된 무작위성을 통해 로컬 업데이트를 재구성하여 효과적인 전체 매개 글로벌 집계를 용이하게 하여 빠른 수렴과 경쟁력 있는 최종 성능을 보장합니다. 우리의 철저한 이론적 분석과 통찰력과 함께 방대한 실험을 통해 Ferret이 기존 연합 전체 매개 조정 방법의 확장 가능성을 현저히 향상시키는 것을 보여줍니다. 높은 계산 효율성, 줄어든 통신 오버헤드, 빠른 수렴을 달성하면서 경쟁력 있는 모델 정확도를 유지합니다. 저희의 구현은 https://github.com/allen4747/Ferret에서 이용 가능합니다.

English

Large Language Models (LLMs) have become indispensable in numerous real-world applications. Unfortunately, fine-tuning these models at scale, especially in federated settings where data privacy and communication efficiency are critical, presents significant challenges. Existing methods often resort to parameter-efficient fine-tuning (PEFT) to mitigate communication overhead, but this typically comes at the cost of model accuracy. To address these limitations, we propose federated full-parameter tuning at scale for LLMs (Ferret), the first first-order method with shared randomness to enable scalable full-parameter tuning of LLMs across decentralized data sources while maintaining competitive model accuracy. Ferret accomplishes this through three aspects: (1) it employs widely applied first-order methods for efficient local updates; (2) it projects these updates into a low-dimensional space to considerably reduce communication overhead; and (3) it reconstructs local updates from this low-dimensional space with shared randomness to facilitate effective full-parameter global aggregation, ensuring fast convergence and competitive final performance. Our rigorous theoretical analyses and insights along with extensive experiments, show that Ferret significantly enhances the scalability of existing federated full-parameter tuning approaches by achieving high computational efficiency, reduced communication overhead, and fast convergence, all while maintaining competitive model accuracy. Our implementation is available at https://github.com/allen4747/Ferret.