Router-Tuning: Ein einfacher und effektiver Ansatz zur Aktivierung von Dynamischer Tiefe in Transformern.

Router-Tuning: A Simple and Effective Approach for Enabling Dynamic-Depth in Transformers

October 17, 2024

Autoren: Shwai He, Tao Ge, Guoheng Sun, Bowei Tian, Xiaoyang Wang, Ang Li, Dong Yu

cs.AI

Zusammenfassung

Traditionelle Transformer-Modelle weisen häufig eine feste Menge an Rechenressourcen für jedes Eingabe-Token zu, was zu ineffizienter und unnötiger Berechnung führt. Um dies zu lösen, wurde die Mixture of Depths (MoD) eingeführt, um die Rechentiefe dynamisch anzupassen, indem weniger wichtige Schichten übersprungen werden. Trotz ihres Potenzials sind aktuelle MoD-Ansätze noch wenig erforscht und stehen vor zwei Hauptproblemen: (1) hohe Trainingskosten aufgrund der Notwendigkeit, das gesamte Modell zusammen mit den Routern zu trainieren, die bestimmen, welche Schichten übersprungen werden sollen, und (2) das Risiko einer Leistungsverschlechterung, wenn wichtige Schichten umgangen werden. Zur Behebung des ersten Problems schlagen wir Router-Tuning vor, eine Methode, die nur den Router auf einem kleinen Datensatz feinabstimmt und so den Rechenaufwand, der mit dem Training des gesamten Modells verbunden ist, drastisch reduziert. Für die zweite Herausforderung schlagen wir MindSkip vor, das Attention mit dynamischen Tiefen einsetzt. Diese Methode erhält die Leistung des Modells, während sie die Rechen- und Speichereffizienz erheblich verbessert. Umfangreiche Experimente zeigen, dass unser Ansatz wettbewerbsfähige Ergebnisse liefert und die Recheneffizienz dramatisch verbessert, z. B. eine Beschleunigung um 21 % und nur einen Leistungsabfall von 0,2 %. Der Code ist unter https://github.com/CASE-Lab-UMD/Router-Tuning verfügbar.

English

Traditional transformer models often allocate a fixed amount of computational resources to every input token, leading to inefficient and unnecessary computation. To address this, the Mixture of Depths (MoD) was introduced to dynamically adjust the computational depth by skipping less important layers. Despite its promise, current MoD approaches remain under-explored and face two main challenges: (1) high training costs due to the need to train the entire model along with the routers that determine which layers to skip, and (2) the risk of performance degradation when important layers are bypassed. In response to the first issue, we propose Router-Tuning, a method that fine-tunes only the router on a small dataset, drastically reducing the computational overhead associated with full model training. For the second challenge, we propose MindSkip, which deploys Attention with Dynamic Depths. This method preserves the model's performance while significantly enhancing computational and memory efficiency. Extensive experiments demonstrate that our approach delivers competitive results while dramatically improving the computation efficiency, e.g., 21\% speedup and only a 0.2\% performance drop. The code is released at https://github.com/CASE-Lab-UMD/Router-Tuning.