ViSMaP: Onbewaakte Samenvatting van Uurlange Video's door Meta-Prompting

ViSMaP: Unsupervised Hour-long Video Summarisation by Meta-Prompting

April 22, 2025

Auteurs: Jian Hu, Dimitrios Korkinof, Shaogang Gong, Mariano Beguerisse-Diaz

cs.AI

Samenvatting

We introduceren ViSMap: Unsupervised Video Summarisation by Meta Prompting, een systeem om urenlange video's samen te vatten zonder supervisie. De meeste bestaande modellen voor videobegrip presteren goed op korte video's van vooraf gesegmenteerde gebeurtenissen, maar ze hebben moeite met het samenvatten van langere video's waarin relevante gebeurtenissen verspreid voorkomen en niet vooraf zijn gesegmenteerd. Bovendien is het begrijpen van lange video's vaak afhankelijk van gesuperviseerde hiërarchische training die uitgebreide annotaties vereist, wat kostbaar, tijdrovend en gevoelig voor inconsistenties is. Met ViSMaP overbruggen we de kloof tussen korte video's (waar geannoteerde data ruimschoots aanwezig is) en lange video's (waar dit niet het geval is). We vertrouwen op LLM's om geoptimaliseerde pseudo-samenvattingen van lange video's te maken met behulp van segmentbeschrijvingen van korte video's. Deze pseudo-samenvattingen worden gebruikt als trainingsdata voor een model dat samenvattingen van lange video's genereert, waardoor de noodzaak voor dure annotaties van lange video's wordt omzeild. Specifiek hanteren we een meta-prompting strategie om iteratief pseudo-samenvattingen van lange video's te genereren en te verfijnen. De strategie maakt gebruik van beschrijvingen van korte clips die zijn verkregen van een gesuperviseerd model voor korte video's om de samenvatting te sturen. Elke iteratie maakt gebruik van drie LLM's die sequentieel werken: één om de pseudo-samenvatting te genereren uit clipbeschrijvingen, een andere om deze te evalueren, en een derde om de prompt van de generator te optimaliseren. Deze iteratie is noodzakelijk omdat de kwaliteit van de pseudo-samenvattingen sterk afhankelijk is van de generatorprompt en sterk varieert tussen video's. We evalueren onze samenvattingen uitgebreid op meerdere datasets; onze resultaten laten zien dat ViSMaP prestaties bereikt die vergelijkbaar zijn met volledig gesuperviseerde state-of-the-art modellen, terwijl het generaliseert over domeinen zonder in te leveren op prestaties. De code wordt vrijgegeven na publicatie.

English

We introduce ViSMap: Unsupervised Video Summarisation by Meta Prompting, a system to summarise hour long videos with no-supervision. Most existing video understanding models work well on short videos of pre-segmented events, yet they struggle to summarise longer videos where relevant events are sparsely distributed and not pre-segmented. Moreover, long-form video understanding often relies on supervised hierarchical training that needs extensive annotations which are costly, slow and prone to inconsistency. With ViSMaP we bridge the gap between short videos (where annotated data is plentiful) and long ones (where it's not). We rely on LLMs to create optimised pseudo-summaries of long videos using segment descriptions from short ones. These pseudo-summaries are used as training data for a model that generates long-form video summaries, bypassing the need for expensive annotations of long videos. Specifically, we adopt a meta-prompting strategy to iteratively generate and refine creating pseudo-summaries of long videos. The strategy leverages short clip descriptions obtained from a supervised short video model to guide the summary. Each iteration uses three LLMs working in sequence: one to generate the pseudo-summary from clip descriptions, another to evaluate it, and a third to optimise the prompt of the generator. This iteration is necessary because the quality of the pseudo-summaries is highly dependent on the generator prompt, and varies widely among videos. We evaluate our summaries extensively on multiple datasets; our results show that ViSMaP achieves performance comparable to fully supervised state-of-the-art models while generalising across domains without sacrificing performance. Code will be released upon publication.