Video SimpleQA: Zur Bewertung der Faktizität in großen Video-Sprachmodellen

Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models

March 24, 2025

Autoren: Meng Cao, Pengfei Hu, Yingyao Wang, Jihao Gu, Haoran Tang, Haoze Zhao, Jiahua Dong, Wangbo Yu, Ge Zhang, Ian Reid, Xiaodan Liang

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Large Video Language Models (LVLMs) haben ihr Potenzial für multimodales Verständnis deutlich gemacht, doch die Bewertung ihrer faktischen Verankerung in Videokontexten bleibt eine kritische, ungelöste Herausforderung. Um diese Lücke zu schließen, führen wir Video SimpleQA ein, den ersten umfassenden Benchmark, der speziell für die Bewertung der Faktizität von LVLMs entwickelt wurde. Unsere Arbeit unterscheidet sich von bestehenden Video-Benchmarks durch die folgenden Schlüsselmerkmale: 1) Erforderliches Wissen: Es wird die Integration von externem Wissen über die explizite Erzählung hinaus gefordert; 2) Faktenorientierte Fragen: Sie zielen auf objektive, unbestrittene Ereignisse oder Beziehungen ab und vermeiden subjektive Interpretationen; 3) Definitive & kurze Antworten: Die Antworten sind eindeutig und definitiv korrekt in einem kurzen Format formuliert, was eine automatisierte Bewertung durch LLM-as-a-Judge-Frameworks mit minimaler Bewertungsvarianz ermöglicht; 4) Extern überprüft: Alle Annotationen werden rigoros anhand autoritativer externer Referenzen validiert, um die Zuverlässigkeit sicherzustellen; 5) Temporales Denken erforderlich: Die annotierten Fragetypen umfassen sowohl statisches Einzelbild-Verständnis als auch dynamisches temporales Denken, wodurch die Faktizität von LVLMs explizit unter langen Kontextabhängigkeiten bewertet wird. Wir evaluieren umfassend 41 state-of-the-art LVLMs und fassen die wichtigsten Erkenntnisse wie folgt zusammen: 1) Aktuelle LVLMs weisen bemerkenswerte Defizite in der faktischen Einhaltung auf, insbesondere bei Open-Source-Modellen. Das beste Modell, Gemini-1.5-Pro, erreicht lediglich einen F-Score von 54,4 %; 2) Testzeit-Compute-Paradigmen zeigen unbedeutende Leistungssteigerungen, was grundlegende Beschränkungen für die Verbesserung der Faktizität durch nachträgliche Berechnungen offenbart; 3) Retrieval-Augmented Generation zeigt konsistente Verbesserungen auf Kosten zusätzlicher Inferenzzeit, was einen kritischen Kompromiss zwischen Effizienz und Leistung darstellt.

English

Recent advancements in Large Video Language Models (LVLMs) have highlighted their potential for multi-modal understanding, yet evaluating their factual grounding in video contexts remains a critical unsolved challenge. To address this gap, we introduce Video SimpleQA, the first comprehensive benchmark tailored for factuality evaluation of LVLMs. Our work distinguishes from existing video benchmarks through the following key features: 1) Knowledge required: demanding integration of external knowledge beyond the explicit narrative; 2) Fact-seeking question: targeting objective, undisputed events or relationships, avoiding subjective interpretation; 3) Definitive & short-form answer: Answers are crafted as unambiguous and definitively correct in a short format, enabling automated evaluation through LLM-as-a-judge frameworks with minimal scoring variance; 4) External-source verified: All annotations undergo rigorous validation against authoritative external references to ensure the reliability; 5) Temporal reasoning required: The annotated question types encompass both static single-frame understanding and dynamic temporal reasoning, explicitly evaluating LVLMs factuality under the long-context dependencies. We extensively evaluate 41 state-of-the-art LVLMs and summarize key findings as follows: 1) Current LVLMs exhibit notable deficiencies in factual adherence, particularly for open-source models. The best-performing model Gemini-1.5-Pro achieves merely an F-score of 54.4%; 2) Test-time compute paradigms show insignificant performance gains, revealing fundamental constraints for enhancing factuality through post-hoc computation; 3) Retrieval-Augmented Generation demonstrates consistent improvements at the cost of additional inference time overhead, presenting a critical efficiency-performance trade-off.