이완된 재귀 트랜스포머: 층별 LoRA를 활용한 효과적인 매개변수 공유

Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA

October 28, 2024

저자: Sangmin Bae, Adam Fisch, Hrayr Harutyunyan, Ziwei Ji, Seungyeon Kim, Tal Schuster

cs.AI

초록

대형 언어 모델 (LLM)을 배포하는 데는 비용이 많이 듭니다. 매개변수 공유는 그 크기와 비용을 줄일 수 있는 가능한 방법을 제공하지만, 현대 LLM에서의 효과는 상당히 제한적입니다. 본 연구에서는 "레이어 결속"을 다시 살펴보고, 트랜스포머에서 매개변수 공유의 형태로 사용되는 새로운 방법을 소개합니다. 기존 LLM을 더 작은 "재귀 트랜스포머"로 변환하는 데 사용되며, 이는 층 간에 매개변수를 공유하면서 성능 손실을 최소화합니다. 여기서 재귀 트랜스포머는 효율적으로 표준 사전 훈련된 트랜스포머에서 초기화되지만, 고유한 층 블록 하나만 사용하여 여러 번 반복하는 방식입니다. 또한, 층 결속 제약에 유연성을 추가하는 "Relaxed Recursive Transformers"를 소개하여 깊이별 저랭크 적응 (LoRA) 모듈을 통해 성능을 더욱 향상시킵니다. 이러한 모델들 (예: 재귀 Gemma 1B)이 비슷한 크기의 표준 사전 훈련된 모델 (예: TinyLlama 1.1B 및 Pythia 1B) 및 지식 증류 기준선보다 우수한 성능을 보여주며, 심지어 원래의 "풀 사이즈" 모델 (예: 공유 매개변수가 없는 Gemma 2B)의 대부분 성능을 회복할 수 있음을 보여줍니다. 마지막으로, 재귀 트랜스포머와 초기 종료를 결합함으로써 가능해진 유망한 새로운 추론 패러다임인 "연속적인 깊이별 배치"를 제안합니다. 이론적 분석에서 이것이 추론 처리량에서 상당한 (2-3배) 향상을 이끌어낼 수 있는 잠재력을 가지고 있음을 보여줍니다.

English

Large language models (LLMs) are expensive to deploy. Parameter sharing offers a possible path towards reducing their size and cost, but its effectiveness in modern LLMs remains fairly limited. In this work, we revisit "layer tying" as form of parameter sharing in Transformers, and introduce novel methods for converting existing LLMs into smaller "Recursive Transformers" that share parameters across layers, with minimal loss of performance. Here, our Recursive Transformers are efficiently initialized from standard pretrained Transformers, but only use a single block of unique layers that is then repeated multiple times in a loop. We further improve performance by introducing Relaxed Recursive Transformers that add flexibility to the layer tying constraint via depth-wise low-rank adaptation (LoRA) modules, yet still preserve the compactness of the overall model. We show that our recursive models (e.g., recursive Gemma 1B) outperform both similar-sized vanilla pretrained models (such as TinyLlama 1.1B and Pythia 1B) and knowledge distillation baselines -- and can even recover most of the performance of the original "full-size" model (e.g., Gemma 2B with no shared parameters). Finally, we propose Continuous Depth-wise Batching, a promising new inference paradigm enabled by the Recursive Transformer when paired with early exiting. In a theoretical analysis, we show that this has the potential to lead to significant (2-3x) gains in inference throughput.