Rückkehr des Encoders: Maximierung der Parameter-Effizienz für Sprachmodellierungsmodelle

Return of the Encoder: Maximizing Parameter Efficiency for SLMs

January 27, 2025

Autoren: Mohamed Elfeki, Rui Liu, Chad Voegele

cs.AI

Zusammenfassung

Die Dominanz großer Decoder-Only-Sprachmodelle hat die Encoder-Decoder-Architekturen in den Hintergrund gedrängt, obwohl diese grundlegende Effizienzvorteile bei der Sequenzverarbeitung bieten. Für kleine Sprachmodelle (SLMs) - solche mit 1 Milliarde Parametern oder weniger - zeigt unsere systematische Analyse über GPU-, CPU- und NPU-Plattformen, dass Encoder-Decoder-Architekturen im Vergleich zu reinen Decoder-Modellen auf Edge-Geräten eine um 47 % niedrigere Latenz des ersten Tokens und eine 4,7-fach höhere Durchsatzrate erzielen. Diese Gewinne können auf die einmalige Eingangsverarbeitung und die effiziente Trennung von Verstehens- und Generierungsphasen des Encoder-Decoders zurückgeführt werden. Wir stellen ein neuartiges Wissensvermittlungsframework vor, das es Encoder-Decoder-Modellen ermöglicht, die Fähigkeiten großer skalierbarer Decoder-Only-Lehrer zu nutzen, während sie ihre architektonischen Vorteile bewahren. Dies führt zu einer durchschnittlichen Leistungsverbesserung von bis zu 6 Punkten über verschiedene Aufgaben hinweg, mit signifikanten Gewinnen bei asymmetrischen Sequenzaufgaben, bei denen Eingabe- und Ausgabeverteilungen von unterschiedlichen Verarbeitungsansätzen profitieren können. In Kombination mit modernen Fortschritten wie Rotierenden Positionalen Einbettungen (RoPE) und Vision-Encodern zeigt unsere systematische Untersuchung, dass Encoder-Decoder-Architekturen einen praktischeren Weg zur Bereitstellung leistungsfähiger Sprachmodelle in ressourcenbeschränkten Umgebungen bieten. Unsere Ergebnisse stellen den vorherrschenden Trend zur reinen Decoder-Skalierung in Frage und zeigen, dass architektonische Entscheidungen mit abnehmenden Parameterbudgets zunehmend entscheidend werden, insbesondere für On-Device- und Edge-Bereitstellungen, bei denen die Recheneffizienz oberste Priorität hat.

English

The dominance of large decoder-only language models has overshadowed encoder-decoder architectures, despite their fundamental efficiency advantages in sequence processing. For small language models (SLMs) - those with 1 billion parameters or fewer - our systematic analysis across GPU, CPU, and NPU platforms reveals that encoder-decoder architectures achieve 47% lower first-token latency and 4.7x higher throughput compared to decoder-only models on edge devices. These gains may be attributed to encoder-decoder's one-time input processing and efficient separation of understanding and generation phases. We introduce a novel knowledge distillation framework that enables encoder-decoder models to leverage capabilities from large scalable decoder-only teachers while preserving their architectural advantages, achieving up to 6 average performance points improvement across diverse tasks, with significant gains in asymmetric sequence tasks where input and output distributions can benefit from different processing approaches. When combined with modern advances like Rotary Positional Embeddings (RoPE) and Vision encoders, our systematic investigation demonstrates that encoder-decoder architectures provide a more practical path toward deploying capable language models in resource-constrained environments. Our findings challenge the prevailing trend toward decoder-only scaling, showing that architectural choices become increasingly crucial as parameter budgets decrease, particularly for on-device and edge deployments where computational efficiency is paramount.