OMCAT: Alomvattende Contextbewuste Transformer

OMCAT: Omni Context Aware Transformer

October 15, 2024

Auteurs: Arushi Goel, Karan Sapra, Matthieu Le, Rafael Valle, Andrew Tao, Bryan Catanzaro

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben aanzienlijke vooruitgang geboekt op het gebied van tekstgeneratie en -begrip, waarbij recente ontwikkelingen zich uitstrekken tot multimodale LLM's die visuele en auditieve invoer integreren. Echter, deze modellen blijven worstelen met gedetailleerd, cross-modale temporele begrip, met name bij het correleren van gebeurtenissen over audio- en videostreams heen. We pakken deze uitdagingen aan met twee belangrijke bijdragen: een nieuw dataset en model, respectievelijk OCTAV en OMCAT genoemd. OCTAV (Omni Context en Temporele Audio Video) is een nieuw dataset ontworpen om gebeurtenisovergangen over audio en video vast te leggen. Ten tweede is OMCAT (Omni Context Bewuste Transformer) een krachtig model dat gebruikmaakt van RoTE (Rotary Time Embeddings), een innovatieve uitbreiding van RoPE, om temporele verankering en computationele efficiëntie te verbeteren in tijd-gerelateerde taken. Door middel van een robuuste drie-fasen trainingspipeline - kenmerkalignering, instructieafstemming en OCTAV-specifieke training - blinkt OMCAT uit in cross-modale temporele begrip. Ons model toont state-of-the-art prestaties op Audio-Visuele Vraag Antwoord (AVQA) taken en de OCTAV benchmark, waarbij significante winsten in temporeel redeneren en cross-modale afstemming worden aangetoond, zoals bevestigd door uitgebreide experimenten en ablatie studies. Onze dataset en code zullen openbaar beschikbaar worden gesteld. De link naar onze demopagina is https://om-cat.github.io.

English

Large Language Models (LLMs) have made significant strides in text generation and comprehension, with recent advancements extending into multimodal LLMs that integrate visual and audio inputs. However, these models continue to struggle with fine-grained, cross-modal temporal understanding, particularly when correlating events across audio and video streams. We address these challenges with two key contributions: a new dataset and model, called OCTAV and OMCAT respectively. OCTAV (Omni Context and Temporal Audio Video) is a novel dataset designed to capture event transitions across audio and video. Second, OMCAT (Omni Context Aware Transformer) is a powerful model that leverages RoTE (Rotary Time Embeddings), an innovative extension of RoPE, to enhance temporal grounding and computational efficiency in time-anchored tasks. Through a robust three-stage training pipeline-feature alignment, instruction tuning, and OCTAV-specific training-OMCAT excels in cross-modal temporal understanding. Our model demonstrates state-of-the-art performance on Audio-Visual Question Answering (AVQA) tasks and the OCTAV benchmark, showcasing significant gains in temporal reasoning and cross-modal alignment, as validated through comprehensive experiments and ablation studies. Our dataset and code will be made publicly available. The link to our demo page is https://om-cat.github.io.