BIMBA: Selektive-Scan-Komprimierung für die langstreckige Video-Fragebeantwortung

BIMBA: Selective-Scan Compression for Long-Range Video Question Answering

March 12, 2025

Autoren: Md Mohaiminul Islam, Tushar Nagarajan, Huiyu Wang, Gedas Bertasius, Lorenzo Torresani

cs.AI

Zusammenfassung

Video Question Answering (VQA) in langen Videos stellt die zentrale Herausforderung dar, relevante Informationen zu extrahieren und langreichweitige Abhängigkeiten aus vielen redundanten Frames zu modellieren. Der Self-Attention-Mechanismus bietet eine allgemeine Lösung für die Sequenzmodellierung, ist jedoch mit einem prohibitiv hohen Aufwand verbunden, wenn er auf eine massive Anzahl von raumzeitlichen Tokens in langen Videos angewendet wird. Die meisten bisherigen Methoden verlassen sich auf Kompressionsstrategien, um die Rechenkosten zu senken, wie z. B. die Reduzierung der Eingabelänge durch spärliches Frame-Sampling oder die Komprimierung der Ausgabesequenz, die an das Large Language Model (LLM) übergeben wird, durch Raum-Zeit-Pooling. Diese naiven Ansätze überrepräsentieren jedoch redundante Informationen und übersehen oft wichtige Ereignisse oder schnell auftretende raumzeitliche Muster. In dieser Arbeit stellen wir BIMBA vor, ein effizientes State-Space-Modell zur Verarbeitung von langen Videos. Unser Modell nutzt den Selective-Scan-Algorithmus, um zu lernen, kritische Informationen aus hochdimensionalen Videos effektiv auszuwählen und in eine reduzierte Token-Sequenz für die effiziente Verarbeitung durch das LLM zu transformieren. Umfangreiche Experimente zeigen, dass BIMBA state-of-the-art Genauigkeit auf mehreren Benchmarks für langformige VQA erreicht, darunter PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench und Video-MME. Code und Modelle sind öffentlich verfügbar unter https://sites.google.com/view/bimba-mllm.

English

Video Question Answering (VQA) in long videos poses the key challenge of extracting relevant information and modeling long-range dependencies from many redundant frames. The self-attention mechanism provides a general solution for sequence modeling, but it has a prohibitive cost when applied to a massive number of spatiotemporal tokens in long videos. Most prior methods rely on compression strategies to lower the computational cost, such as reducing the input length via sparse frame sampling or compressing the output sequence passed to the large language model (LLM) via space-time pooling. However, these naive approaches over-represent redundant information and often miss salient events or fast-occurring space-time patterns. In this work, we introduce BIMBA, an efficient state-space model to handle long-form videos. Our model leverages the selective scan algorithm to learn to effectively select critical information from high-dimensional video and transform it into a reduced token sequence for efficient LLM processing. Extensive experiments demonstrate that BIMBA achieves state-of-the-art accuracy on multiple long-form VQA benchmarks, including PerceptionTest, NExT-QA, EgoSchema, VNBench, LongVideoBench, and Video-MME. Code, and models are publicly available at https://sites.google.com/view/bimba-mllm.