Florence-VL: 생성적 비전 인코더와 깊이-폭 융합을 활용한 비전-언어 모델 강화

Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion

December 5, 2024

저자: Jiuhai Chen, Jianwei Yang, Haiping Wu, Dianqi Li, Jianfeng Gao, Tianyi Zhou, Bin Xiao

cs.AI

초록

저희는 Florence-2라는 생성적 비전 기반 모델에 의해 생성된 풍부한 시각적 표현을 갖춘 새로운 다중 모달 대형 언어 모델(Multimodal Large Language Models, MLLMs) 패밀리인 Florence-VL을 제안합니다. 널리 사용되는 대조적 학습을 통해 훈련된 CLIP 스타일 비전 트랜스포머와는 달리, Florence-2는 시각적 특징의 다양한 수준과 측면을 포착할 수 있어 다양한 하향 작업에 적응하기에 더 유연합니다. 저희는 Florence-2의 시각적 특징을 Phi 3.5 및 LLama 3과 같은 사전 훈련된 LLM에 효과적으로 통합하는 새로운 특징 퓨전 아키텍처와 혁신적인 훈련 레시피를 제안합니다. 특히, 우리는 "깊이-폭 퓨전(DBFusion)"을 제안하여 다양한 깊이와 여러 프롬프트에서 추출된 시각적 특징을 퓨전합니다. 저희의 모델 훈련은 전체 모델의 엔드 투 엔드 사전 훈련으로 구성되며, 다양한 오픈 소스 데이터셋을 신중하게 설계된 레시피에 따라 사용하여 투영 레이어와 LLM의 파인튜닝을 진행합니다. 이 데이터셋에는 고품질 이미지 캡션 및 지시어 튜닝 쌍이 포함됩니다. Florence-VL의 시각적 특징에 대한 우리의 양적 분석 및 시각화는 풍부한 깊이와 폭이 중요한 역할을 하는 시각-언어 정렬에서 인기 있는 비전 인코더에 비해 이점을 보여줍니다. Florence-VL은 일반 VQA, 지각, 환각, OCR, 차트, 지식 중심 이해 등을 포함하는 다양한 다중 모달 및 비전 중심 벤치마크에서 기존 최첨단 MLLM에 대해 상당한 개선을 달성합니다. 미래 연구를 위해 우리의 모델과 완전한 훈련 레시피는 오픈 소스로 제공됩니다. https://github.com/JiuhaiChen/Florence-VL

English

We present Florence-VL, a new family of multimodal large language models (MLLMs) with enriched visual representations produced by Florence-2, a generative vision foundation model. Unlike the widely used CLIP-style vision transformer trained by contrastive learning, Florence-2 can capture different levels and aspects of visual features, which are more versatile to be adapted to diverse downstream tasks. We propose a novel feature-fusion architecture and an innovative training recipe that effectively integrates Florence-2's visual features into pretrained LLMs, such as Phi 3.5 and LLama 3. In particular, we propose "depth-breath fusion (DBFusion)" to fuse the visual features extracted from different depths and under multiple prompts. Our model training is composed of end-to-end pretraining of the whole model followed by finetuning of the projection layer and the LLM, on a carefully designed recipe of diverse open-source datasets that include high-quality image captions and instruction-tuning pairs. Our quantitative analysis and visualization of Florence-VL's visual features show its advantages over popular vision encoders on vision-language alignment, where the enriched depth and breath play important roles. Florence-VL achieves significant improvements over existing state-of-the-art MLLMs across various multi-modal and vision-centric benchmarks covering general VQA, perception, hallucination, OCR, Chart, knowledge-intensive understanding, etc. To facilitate future research, our models and the complete training recipe are open-sourced. https://github.com/JiuhaiChen/Florence-VL