Florence-VL: Potenziare i Modelli Visione-Linguaggio con un Generative Vision Encoder e Fusione Profondità-Ampiezza

Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion

December 5, 2024

Autori: Jiuhai Chen, Jianwei Yang, Haiping Wu, Dianqi Li, Jianfeng Gao, Tianyi Zhou, Bin Xiao

cs.AI

Abstract

Presentiamo Florence-VL, una nuova famiglia di grandi modelli di linguaggio multimodali (MLLMs) con rappresentazioni visive arricchite prodotte da Florence-2, un modello di base di visione generativa. A differenza del diffusamente utilizzato transformer di visione in stile CLIP addestrato mediante apprendimento contrastivo, Florence-2 è in grado di catturare diversi livelli e aspetti delle caratteristiche visive, che sono più versatili per essere adattati a diverse attività derivate. Proponiamo un'architettura di fusione di caratteristiche innovativa e una ricetta di addestramento che integra efficacemente le caratteristiche visive di Florence-2 nei MLLMs preaddestrati, come Phi 3.5 e LLama 3. In particolare, proponiamo "fusione di profondità e ampiezza (DBFusion)" per fondere le caratteristiche visive estratte da diverse profondità e sotto molteplici stimoli. Il nostro addestramento del modello è composto da preaddestramento end-to-end dell'intero modello seguito dal raffinamento del livello di proiezione e del LLM, su una ricetta attentamente progettata di diversi dataset open-source che includono didascalie di immagini di alta qualità e coppie di adattamento istruzioni. La nostra analisi quantitativa e la visualizzazione delle caratteristiche visive di Florence-VL mostrano i suoi vantaggi rispetto ai popolari codificatori di visione sull'allineamento visione-linguaggio, dove la profondità e l'ampiezza arricchite svolgono ruoli importanti. Florence-VL ottiene miglioramenti significativi rispetto ai MLLMs all'avanguardia esistenti su vari benchmark multimodali e centrati sulla visione che coprono VQA generale, percezione, allucinazione, OCR, grafico, comprensione intensiva della conoscenza, ecc. Per agevolare la ricerca futura, i nostri modelli e l'intera ricetta di addestramento sono resi open-source. https://github.com/JiuhaiChen/Florence-VL

English

We present Florence-VL, a new family of multimodal large language models (MLLMs) with enriched visual representations produced by Florence-2, a generative vision foundation model. Unlike the widely used CLIP-style vision transformer trained by contrastive learning, Florence-2 can capture different levels and aspects of visual features, which are more versatile to be adapted to diverse downstream tasks. We propose a novel feature-fusion architecture and an innovative training recipe that effectively integrates Florence-2's visual features into pretrained LLMs, such as Phi 3.5 and LLama 3. In particular, we propose "depth-breath fusion (DBFusion)" to fuse the visual features extracted from different depths and under multiple prompts. Our model training is composed of end-to-end pretraining of the whole model followed by finetuning of the projection layer and the LLM, on a carefully designed recipe of diverse open-source datasets that include high-quality image captions and instruction-tuning pairs. Our quantitative analysis and visualization of Florence-VL's visual features show its advantages over popular vision encoders on vision-language alignment, where the enriched depth and breath play important roles. Florence-VL achieves significant improvements over existing state-of-the-art MLLMs across various multi-modal and vision-centric benchmarks covering general VQA, perception, hallucination, OCR, Chart, knowledge-intensive understanding, etc. To facilitate future research, our models and the complete training recipe are open-sourced. https://github.com/JiuhaiChen/Florence-VL