Adaptives Inferenzlernen für multimodale Large Language Models

Learning to Inference Adaptively for Multimodal Large Language Models

March 13, 2025

Autoren: Zhuoyan Xu, Khoi Duc Nguyen, Preeti Mukherjee, Saurabh Bagchi, Somali Chaterji, Yingyu Liang, Yin Li

cs.AI

Zusammenfassung

Multimodale Large Language Models (MLLMs) haben beeindruckende Fähigkeiten im Bereich des logischen Denkens gezeigt, sind jedoch mit erheblichen Rechenkosten verbunden, was ihren Einsatz in ressourcenbeschränkten Umgebungen einschränkt. Trotz jüngster Bemühungen zur Verbesserung der Effizienz von MLLMs reichen bisherige Lösungen nicht aus, um auf variable Laufzeitbedingungen zu reagieren, insbesondere bei sich ändernder Ressourcenverfügbarkeit (z. B. durch die Ausführung anderer Programme auf dem Gerät verursachte Konkurrenz). Um diese Lücke zu schließen, stellen wir AdaLLaVA vor, ein adaptives Inferenz-Framework, das lernt, die Operationen eines MLLMs während der Inferenz dynamisch neu zu konfigurieren, wobei sowohl die Eingabedaten als auch ein Latenzbudget berücksichtigt werden. Wir führen umfangreiche Experimente über Benchmarks durch, die Fragenbeantwortung, logisches Denken und Halluzinationen umfassen. Unsere Ergebnisse zeigen, dass AdaLLaVA effektiv an das vorgegebene Latenzbudget der Eingabe angepasst wird und dabei verschiedene Kompromisse zwischen Genauigkeit und Latenz zur Laufzeit erreicht. Darüber hinaus demonstrieren wir, dass AdaLLaVA sowohl an die Eingabelatenz als auch an den Inhalt angepasst werden kann, mit Token-Auswahl für eine verbesserte Effizienz integriert werden kann und sich über verschiedene MLLMs verallgemeinern lässt. Unsere Projektwebseite mit Code-Veröffentlichung finden Sie unter https://zhuoyan-xu.github.io/ada-llava/.

English

Multimodal Large Language Models (MLLMs) have shown impressive capabilities in reasoning, yet come with substantial computational cost, limiting their deployment in resource-constrained settings. Despite recent efforts on improving the efficiency of MLLMs, prior solutions fall short in responding to varying runtime conditions, in particular changing resource availability (e.g., contention due to the execution of other programs on the device). To bridge this gap, we introduce AdaLLaVA, an adaptive inference framework that learns to dynamically reconfigure operations in an MLLM during inference, accounting for the input data and a latency budget. We conduct extensive experiments across benchmarks involving question-answering, reasoning, and hallucination. Our results show that AdaLLaVA effectively adheres to input latency budget, achieving varying accuracy and latency tradeoffs at runtime. Further, we demonstrate that AdaLLaVA adapts to both input latency and content, can be integrated with token selection for enhanced efficiency, and generalizes across MLLMs. Our project webpage with code release is at https://zhuoyan-xu.github.io/ada-llava/.