ViSMaP: Unüberwachte Zusammenfassung von stundenlangen Videos durch Meta-Prompting

ViSMaP: Unsupervised Hour-long Video Summarisation by Meta-Prompting

April 22, 2025

Autoren: Jian Hu, Dimitrios Korkinof, Shaogang Gong, Mariano Beguerisse-Diaz

cs.AI

Zusammenfassung

Wir stellen ViSMap vor: Unsupervised Video Summarisation by Meta Prompting, ein System zur Zusammenfassung von stundenlangen Videos ohne Aufsicht. Die meisten bestehenden Modelle zur Videoverarbeitung funktionieren gut bei kurzen Videos von vorsortierten Ereignissen, haben jedoch Schwierigkeiten, längere Videos zusammenzufassen, in denen relevante Ereignisse spärlich verteilt und nicht vorsortiert sind. Darüber hinaus stützt sich das Verständnis von langen Videos oft auf überwachtes hierarchisches Training, das umfangreiche Annotationen erfordert, die kostspielig, langsam und anfällig für Inkonsistenzen sind. Mit ViSMaP schließen wir die Lücke zwischen kurzen Videos (bei denen annotierte Daten reichlich vorhanden sind) und langen Videos (bei denen dies nicht der Fall ist). Wir verlassen uns auf LLMs (Large Language Models), um optimierte Pseudozusammenfassungen von langen Videos mithilfe von Segmentbeschreibungen aus kurzen Videos zu erstellen. Diese Pseudozusammenfassungen werden als Trainingsdaten für ein Modell verwendet, das Zusammenfassungen von langen Videos generiert, wodurch der Bedarf an teuren Annotationen von langen Videos umgangen wird. Insbesondere verwenden wir eine Meta-Prompting-Strategie, um iterativ Pseudozusammenfassungen von langen Videos zu generieren und zu verfeinern. Die Strategie nutzt Beschreibungen von kurzen Clips, die von einem überwachten Modell für kurze Videos erhalten wurden, um die Zusammenfassung zu leiten. Jede Iteration verwendet drei LLMs, die nacheinander arbeiten: eines zur Generierung der Pseudozusammenfassung aus Clip-Beschreibungen, ein weiteres zur Bewertung und ein drittes zur Optimierung des Prompts des Generators. Diese Iteration ist notwendig, da die Qualität der Pseudozusammenfassungen stark vom Generator-Prompt abhängt und zwischen den Videos stark variiert. Wir bewerten unsere Zusammenfassungen umfassend auf mehreren Datensätzen; unsere Ergebnisse zeigen, dass ViSMaP eine Leistung erzielt, die mit vollständig überwachten State-of-the-Art-Modellen vergleichbar ist, während es domänenübergreifend generalisiert, ohne die Leistung zu beeinträchtigen. Der Code wird bei Veröffentlichung freigegeben.

English

We introduce ViSMap: Unsupervised Video Summarisation by Meta Prompting, a system to summarise hour long videos with no-supervision. Most existing video understanding models work well on short videos of pre-segmented events, yet they struggle to summarise longer videos where relevant events are sparsely distributed and not pre-segmented. Moreover, long-form video understanding often relies on supervised hierarchical training that needs extensive annotations which are costly, slow and prone to inconsistency. With ViSMaP we bridge the gap between short videos (where annotated data is plentiful) and long ones (where it's not). We rely on LLMs to create optimised pseudo-summaries of long videos using segment descriptions from short ones. These pseudo-summaries are used as training data for a model that generates long-form video summaries, bypassing the need for expensive annotations of long videos. Specifically, we adopt a meta-prompting strategy to iteratively generate and refine creating pseudo-summaries of long videos. The strategy leverages short clip descriptions obtained from a supervised short video model to guide the summary. Each iteration uses three LLMs working in sequence: one to generate the pseudo-summary from clip descriptions, another to evaluate it, and a third to optimise the prompt of the generator. This iteration is necessary because the quality of the pseudo-summaries is highly dependent on the generator prompt, and varies widely among videos. We evaluate our summaries extensively on multiple datasets; our results show that ViSMaP achieves performance comparable to fully supervised state-of-the-art models while generalising across domains without sacrificing performance. Code will be released upon publication.