DyMU: Dynamisch Samenvoegen en Virtueel Ontsamenvoegen voor Efficiënte VLMs

DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs

April 23, 2025

Auteurs: Zhenhailong Wang, Senthil Purushwalkam, Caiming Xiong, Silvio Savarese, Heng Ji, Ran Xu

cs.AI

Samenvatting

We presenteren DyMU, een efficiënt, trainingsvrij raamwerk dat de computationele belasting van vision-language modellen (VLMs) dynamisch vermindert terwijl een hoge taakprestatie behouden blijft. Onze aanpak bestaat uit twee belangrijke componenten. Ten eerste reduceert Dynamic Token Merging (DToMe) het aantal visuele token-embeddings door vergelijkbare tokens samen te voegen op basis van beeldcomplexiteit, waardoor de inherente inefficiëntie van vaste-lengte-uitvoer in vision transformers wordt aangepakt. Ten tweede simuleert Virtual Token Unmerging (VTU) de verwachte token-sequentie voor grote taalmodellen (LLMs) door efficiënt de aandacht-dynamiek van een volledige sequentie te reconstrueren, waardoor de downstream-prestatie behouden blijft zonder aanvullende fine-tuning. In tegenstelling tot eerdere benaderingen past onze methode tokencompressie dynamisch aan op basis van de inhoud van het beeld en werkt volledig trainingsvrij, waardoor het direct toepasbaar is op de meeste state-of-the-art VLM-architecturen. Uitgebreide experimenten op beeld- en video-begriptaken tonen aan dat DyMU het gemiddelde aantal visuele tokens met 32%-85% kan verminderen, terwijl vergelijkbare prestaties worden behaald als volledige-lengte-modellen over diverse VLM-architecturen, inclusief de recentelijk populair geworden AnyRes-gebaseerde visuele encoders. Bovendien tonen we door kwalitatieve analyses aan dat DToMe effectief tokenreductie aanpast op basis van beeldcomplexiteit en, in tegenstelling tot bestaande systemen, gebruikers meer controle biedt over computationele kosten. Projectpagina: https://mikewangwzhl.github.io/dymu/.

English

We present DyMU, an efficient, training-free framework that dynamically reduces the computational burden of vision-language models (VLMs) while maintaining high task performance. Our approach comprises two key components. First, Dynamic Token Merging (DToMe) reduces the number of visual token embeddings by merging similar tokens based on image complexity, addressing the inherent inefficiency of fixed-length outputs in vision transformers. Second, Virtual Token Unmerging (VTU) simulates the expected token sequence for large language models (LLMs) by efficiently reconstructing the attention dynamics of a full sequence, thus preserving the downstream performance without additional fine-tuning. Unlike previous approaches, our method dynamically adapts token compression to the content of the image and operates completely training-free, making it readily applicable to most state-of-the-art VLM architectures. Extensive experiments on image and video understanding tasks demonstrate that DyMU can reduce the average visual token count by 32%-85% while achieving comparable performance to full-length models across diverse VLM architectures, including the recently popularized AnyRes-based visual encoders. Furthermore, through qualitative analyses, we demonstrate that DToMe effectively adapts token reduction based on image complexity and, unlike existing systems, provides users more control over computational costs. Project page: https://mikewangwzhl.github.io/dymu/.