인코더의 귀환: SLMs의 매개변수 효율 최대화

Return of the Encoder: Maximizing Parameter Efficiency for SLMs

January 27, 2025

저자: Mohamed Elfeki, Rui Liu, Chad Voegele

cs.AI

초록

대규모 디코더 전용 언어 모델의 우세가 시퀀스 처리에서의 기본적인 효율성 장점에도 불구하고 인코더-디코더 구조를 가려냅니다. 10억 개 이하의 매개변수를 가진 소규모 언어 모델(SLM)의 경우 GPU, CPU 및 NPU 플랫폼을 통해 체계적인 분석을 통해 인코더-디코더 구조가 엣지 장치에서 디코더 전용 모델에 비해 첫 번째 토큰 대기 시간이 47% 낮고 처리량이 4.7배 높음을 확인했습니다. 이러한 이득은 인코더-디코더의 일회성 입력 처리 및 이해 및 생성 단계의 효율적인 분리에 기인할 수 있습니다. 우리는 새로운 지식 증류 프레임워크를 소개하여 인코더-디코더 모델이 대규모 확장 가능한 디코더 전용 교사로부터 능력을 활용하면서 그들의 구조적 장점을 유지하며 다양한 작업에서 최대 6개의 성능 포인트 향상을 달성했습니다. 입력 및 출력 분포가 서로 다른 처리 방식에서 이점을 얻을 수 있는 비대칭 시퀀스 작업에서 상당한 이득을 얻었습니다. RoPE(회전 위치 임베딩) 및 비전 인코더와 같은 현대적인 발전과 결합할 때, 우리의 체계적인 조사는 인코더-디코더 구조가 자원 제한적 환경에서 능력 있는 언어 모델을 배포하는 더 실용적인 경로를 제공함을 보여줍니다. 우리의 연구 결과는 디코더 전용 확장으로의 우세한 추세에 도전하여, 특히 장치 내 및 엣지 배포에서 계산 효율성이 중요한 경우에는 구조적 선택이 매개변수 예산이 줄어들 때 점점 중요해진다는 것을 보여줍니다.

English

The dominance of large decoder-only language models has overshadowed encoder-decoder architectures, despite their fundamental efficiency advantages in sequence processing. For small language models (SLMs) - those with 1 billion parameters or fewer - our systematic analysis across GPU, CPU, and NPU platforms reveals that encoder-decoder architectures achieve 47% lower first-token latency and 4.7x higher throughput compared to decoder-only models on edge devices. These gains may be attributed to encoder-decoder's one-time input processing and efficient separation of understanding and generation phases. We introduce a novel knowledge distillation framework that enables encoder-decoder models to leverage capabilities from large scalable decoder-only teachers while preserving their architectural advantages, achieving up to 6 average performance points improvement across diverse tasks, with significant gains in asymmetric sequence tasks where input and output distributions can benefit from different processing approaches. When combined with modern advances like Rotary Positional Embeddings (RoPE) and Vision encoders, our systematic investigation demonstrates that encoder-decoder architectures provide a more practical path toward deploying capable language models in resource-constrained environments. Our findings challenge the prevailing trend toward decoder-only scaling, showing that architectural choices become increasingly crucial as parameter budgets decrease, particularly for on-device and edge deployments where computational efficiency is paramount.