MultiVENT 2.0: Een uitgebreide meertalige benchmark voor op gebeurtenissen gerichte videoterugwinning

MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval

October 15, 2024

Auteurs: Reno Kriz, Kate Sanders, David Etter, Kenton Murray, Cameron Carpenter, Kelly Van Ochten, Hannah Recknor, Jimena Guallar-Blasco, Alexander Martin, Ronald Colaianni, Nolan King, Eugene Yang, Benjamin Van Durme

cs.AI

Samenvatting

Het efficiënt ophalen en synthetiseren van informatie uit grootschalige multimodale collecties is een kritische uitdaging geworden. Bestaande video-ophaaldatasets kampen echter met beperkingen wat betreft scope, waarbij ze zich voornamelijk richten op het matchen van beschrijvende maar vage zoekopdrachten met kleine collecties professioneel bewerkte, op het Engels gerichte video's. Om dit hiaat aan te pakken, introduceren we MultiVENT 2.0, een grootschalige, meertalige op gebeurtenissen gerichte video-ophaalbenchmark met een collectie van meer dan 218.000 nieuwsvideo's en 3.906 zoekopdrachten gericht op specifieke wereldgebeurtenissen. Deze zoekopdrachten richten zich specifiek op informatie die te vinden is in de visuele inhoud, audio, ingebedde tekst en tekstmetadata van de video's, waarbij systemen al deze bronnen moeten benutten om te slagen in de taak. Voorlopige resultaten tonen aan dat vision-language modellen van de staat-van-de-kunst aanzienlijke moeite hebben met deze taak, en hoewel alternatieve benaderingen veelbelovend zijn, zijn ze nog steeds onvoldoende om dit probleem adequaat aan te pakken. Deze bevindingen benadrukken de noodzaak van robuustere multimodale ophaalsystemen, aangezien effectieve video-ophaal een cruciale stap is naar multimodale inhoudsbegrip en generatietaken.

English

Efficiently retrieving and synthesizing information from large-scale multimodal collections has become a critical challenge. However, existing video retrieval datasets suffer from scope limitations, primarily focusing on matching descriptive but vague queries with small collections of professionally edited, English-centric videos. To address this gap, we introduce MultiVENT 2.0, a large-scale, multilingual event-centric video retrieval benchmark featuring a collection of more than 218,000 news videos and 3,906 queries targeting specific world events. These queries specifically target information found in the visual content, audio, embedded text, and text metadata of the videos, requiring systems leverage all these sources to succeed at the task. Preliminary results show that state-of-the-art vision-language models struggle significantly with this task, and while alternative approaches show promise, they are still insufficient to adequately address this problem. These findings underscore the need for more robust multimodal retrieval systems, as effective video retrieval is a crucial step towards multimodal content understanding and generation tasks.