Groß angelegtes Vor-Training für die erdgebundene Videobeschreibungserzeugung

Large-scale Pre-training for Grounded Video Caption Generation

March 13, 2025

Autoren: Evangelos Kazakos, Cordelia Schmid, Josef Sivic

cs.AI

Zusammenfassung

Wir schlagen einen neuartigen Ansatz für die Beschriftung und Objektverankerung in Videos vor, bei dem die Objekte in der Beschriftung durch zeitlich dichte Begrenzungsrahmen im Video verankert werden. Wir führen die folgenden Beiträge ein. Erstens präsentieren wir eine groß angelegte automatische Annotationsmethode, die Beschriftungen mit Begrenzungsrahmen über einzelne Frames hinweg in zeitlich dichte und konsistente Begrenzungsrahmen-Annotationen aggregiert. Wir wenden diesen Ansatz auf das HowTo100M-Datensatz an, um einen groß angelegten Vorverarbeitungsdatensatz namens HowToGround1M zu erstellen. Wir stellen außerdem ein Modell zur verankerten Videobeschriftungserzeugung vor, genannt GROVE, und trainieren das Modell auf HowToGround1M vor. Zweitens führen wir einen neuen Datensatz namens iGround ein, der 3500 Videos mit manuell annotierten Beschriftungen und dichten räumlich-zeitlich verankerten Begrenzungsrahmen enthält. Dies ermöglicht es uns, Fortschritte bei dieser anspruchsvollen Aufgabe zu messen sowie unser Modell auf diesen kleinformatigen, aber hochwertigen Daten feinzutunen. Drittens zeigen wir, dass unser Ansatz im Vergleich zu mehreren Baselines auf dem vorgeschlagenen iGround-Datensatz sowie auf den Datensätzen VidSTG und ActivityNet-Entities state-of-the-art Ergebnisse erzielt. Wir führen umfangreiche Ablationen durch, die die Bedeutung des Vortrainings mit unserem automatisch annotierten HowToGround1M-Datensatz gefolgt von einem Feintuning auf dem manuell annotierten iGround-Datensatz demonstrieren und validieren die wesentlichen technischen Beiträge unseres Modells.

English

We propose a novel approach for captioning and object grounding in video, where the objects in the caption are grounded in the video via temporally dense bounding boxes. We introduce the following contributions. First, we present a large-scale automatic annotation method that aggregates captions grounded with bounding boxes across individual frames into temporally dense and consistent bounding box annotations. We apply this approach on the HowTo100M dataset to construct a large-scale pre-training dataset, named HowToGround1M. We also introduce a Grounded Video Caption Generation model, dubbed GROVE, and pre-train the model on HowToGround1M. Second, we introduce a new dataset, called iGround, of 3500 videos with manually annotated captions and dense spatio-temporally grounded bounding boxes. This allows us to measure progress on this challenging problem, as well as to fine-tune our model on this small-scale but high-quality data. Third, we demonstrate that our approach achieves state-of-the-art results on the proposed iGround dataset compared to a number of baselines, as well as on the VidSTG and ActivityNet-Entities datasets. We perform extensive ablations that demonstrate the importance of pre-training using our automatically annotated HowToGround1M dataset followed by fine-tuning on the manually annotated iGround dataset and validate the key technical contributions of our model.