OmniCaptioner: Un Unico Generatore di Didascalie per Dominarli Tutti

OmniCaptioner: One Captioner to Rule Them All

April 9, 2025

Autori: Yiting Lu, Jiakang Yuan, Zhen Li, Shitian Zhao, Qi Qin, Xinyue Li, Le Zhuo, Licheng Wen, Dongyang Liu, Yuewen Cao, Xiangchao Yan, Xin Li, Botian Shi, Tao Chen, Zhibo Chen, Lei Bai, Bo Zhang, Peng Gao

cs.AI

Abstract

Proponiamo OmniCaptioner, un framework versatile per la generazione di descrizioni testuali dettagliate in una vasta gamma di domini visivi. A differenza dei metodi precedenti limitati a tipi specifici di immagini (ad esempio, immagini naturali o visualizzazioni geometriche), il nostro framework offre una soluzione unificata per la descrizione di immagini naturali, testo visivo (ad esempio, poster, interfacce utente, libri di testo) e visualizzazioni strutturate (ad esempio, documenti, tabelle, grafici). Convertendo le informazioni a basso livello dei pixel in rappresentazioni testuali semanticamente ricche, il nostro framework colma il divario tra le modalità visive e testuali. I nostri risultati evidenziano tre vantaggi chiave: (i) Ragionamento Visivo Potenziato con LLM, dove descrizioni contestuali lunghe delle modalità visive consentono ai LLM, in particolare alla serie DeepSeek-R1, di ragionare efficacemente in scenari multimodali; (ii) Generazione di Immagini Migliorata, dove descrizioni dettagliate migliorano compiti come la generazione di immagini da testo e la trasformazione di immagini; e (iii) Fine-Tuning Supervisionato Efficiente (SFT), che consente una convergenza più rapida con meno dati. Crediamo che la versatilità e l'adattabilità di OmniCaptioner possano offrire una nuova prospettiva per colmare il divario tra le modalità linguistiche e visive.

English

We propose OmniCaptioner, a versatile visual captioning framework for generating fine-grained textual descriptions across a wide variety of visual domains. Unlike prior methods limited to specific image types (e.g., natural images or geometric visuals), our framework provides a unified solution for captioning natural images, visual text (e.g., posters, UIs, textbooks), and structured visuals (e.g., documents, tables, charts). By converting low-level pixel information into semantically rich textual representations, our framework bridges the gap between visual and textual modalities. Our results highlight three key advantages: (i) Enhanced Visual Reasoning with LLMs, where long-context captions of visual modalities empower LLMs, particularly the DeepSeek-R1 series, to reason effectively in multimodal scenarios; (ii) Improved Image Generation, where detailed captions improve tasks like text-to-image generation and image transformation; and (iii) Efficient Supervised Fine-Tuning (SFT), which enables faster convergence with less data. We believe the versatility and adaptability of OmniCaptioner can offer a new perspective for bridging the gap between language and visual modalities.