DyMU: Dynamisches Zusammenführen und Virtuelles Aufteilen für effiziente VLMs

DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs

April 23, 2025

Autoren: Zhenhailong Wang, Senthil Purushwalkam, Caiming Xiong, Silvio Savarese, Heng Ji, Ran Xu

cs.AI

Zusammenfassung

Wir stellen DyMU vor, ein effizientes, trainingsfreies Framework, das die Rechenlast von Vision-Language-Modellen (VLMs) dynamisch reduziert, während gleichzeitig eine hohe Aufgabenleistung aufrechterhalten wird. Unser Ansatz umfasst zwei Schlüsselkomponenten. Erstens reduziert Dynamic Token Merging (DToMe) die Anzahl der visuellen Token-Embeddings, indem ähnliche Token basierend auf der Bildkomplexität zusammengeführt werden, wodurch die inhärente Ineffizienz von festen Ausgabelängen in Vision-Transformern adressiert wird. Zweitens simuliert Virtual Token Unmerging (VTU) die erwartete Token-Sequenz für große Sprachmodelle (LLMs), indem effizient die Aufmerksamkeitsdynamik einer vollständigen Sequenz rekonstruiert wird, wodurch die nachgelagerte Leistung ohne zusätzliches Fine-Tuning erhalten bleibt. Im Gegensatz zu früheren Ansätzen passt unsere Methode die Token-Kompression dynamisch an den Bildinhalt an und arbeitet vollständig trainingsfrei, was sie leicht auf die meisten state-of-the-art VLM-Architekturen anwendbar macht. Umfangreiche Experimente zu Bild- und Video-Verständnisaufgaben zeigen, dass DyMU die durchschnittliche Anzahl visueller Token um 32%-85% reduzieren kann, während es eine vergleichbare Leistung zu Modellen mit vollständiger Token-Länge über diverse VLM-Architekturen hinweg erreicht, einschließlich der kürzlich populär gewordenen AnyRes-basierten visuellen Encoder. Darüber hinaus demonstrieren wir durch qualitative Analysen, dass DToMe die Token-Reduktion effektiv an die Bildkomplexität anpasst und im Gegensatz zu bestehenden Systemen den Benutzern mehr Kontrolle über die Rechenkosten bietet. Projektseite: https://mikewangwzhl.github.io/dymu/.

English

We present DyMU, an efficient, training-free framework that dynamically reduces the computational burden of vision-language models (VLMs) while maintaining high task performance. Our approach comprises two key components. First, Dynamic Token Merging (DToMe) reduces the number of visual token embeddings by merging similar tokens based on image complexity, addressing the inherent inefficiency of fixed-length outputs in vision transformers. Second, Virtual Token Unmerging (VTU) simulates the expected token sequence for large language models (LLMs) by efficiently reconstructing the attention dynamics of a full sequence, thus preserving the downstream performance without additional fine-tuning. Unlike previous approaches, our method dynamically adapts token compression to the content of the image and operates completely training-free, making it readily applicable to most state-of-the-art VLM architectures. Extensive experiments on image and video understanding tasks demonstrate that DyMU can reduce the average visual token count by 32%-85% while achieving comparable performance to full-length models across diverse VLM architectures, including the recently popularized AnyRes-based visual encoders. Furthermore, through qualitative analyses, we demonstrate that DToMe effectively adapts token reduction based on image complexity and, unlike existing systems, provides users more control over computational costs. Project page: https://mikewangwzhl.github.io/dymu/.