Beschrijf Alles: Gedetailleerde Gelokaliseerde Beeld- en Videobeschrijving

Describe Anything: Detailed Localized Image and Video Captioning

April 22, 2025

Auteurs: Long Lian, Yifan Ding, Yunhao Ge, Sifei Liu, Hanzi Mao, Boyi Li, Marco Pavone, Ming-Yu Liu, Trevor Darrell, Adam Yala, Yin Cui

cs.AI

Samenvatting

Het genereren van gedetailleerde en nauwkeurige beschrijvingen voor specifieke regio's in afbeeldingen en video's blijft een fundamentele uitdaging voor visie-taalmodellen. We introduceren het Describe Anything Model (DAM), een model ontworpen voor gedetailleerde gelokaliseerde bijschriften (DLC). DAM behoudt zowel lokale details als globale context door twee belangrijke innovaties: een focale prompt, die zorgt voor een hoge-resolutie codering van doelregio's, en een gelokaliseerde visie-backbone, die precieze lokalisatie integreert met de bredere context. Om het gebrek aan hoogwaardige DLC-gegevens aan te pakken, stellen we een Semi-supervised learning (SSL)-gebaseerde Data Pipeline (DLC-SDP) voor. DLC-SDP begint met bestaande segmentatiedatasets en breidt uit naar ongelabelde webafbeeldingen met behulp van SSL. We introduceren DLC-Bench, een benchmark ontworpen om DLC te evalueren zonder te vertrouwen op referentiebijschriften. DAM vestigt nieuwe state-of-the-art resultaten op 7 benchmarks die zich uitstrekken over trefwoordniveau, zinsniveau en gedetailleerde, meerdere zinnen omvattende gelokaliseerde afbeelding- en videobijschriften.

English

Generating detailed and accurate descriptions for specific regions in images and videos remains a fundamental challenge for vision-language models. We introduce the Describe Anything Model (DAM), a model designed for detailed localized captioning (DLC). DAM preserves both local details and global context through two key innovations: a focal prompt, which ensures high-resolution encoding of targeted regions, and a localized vision backbone, which integrates precise localization with its broader context. To tackle the scarcity of high-quality DLC data, we propose a Semi-supervised learning (SSL)-based Data Pipeline (DLC-SDP). DLC-SDP starts with existing segmentation datasets and expands to unlabeled web images using SSL. We introduce DLC-Bench, a benchmark designed to evaluate DLC without relying on reference captions. DAM sets new state-of-the-art on 7 benchmarks spanning keyword-level, phrase-level, and detailed multi-sentence localized image and video captioning.