DeepPerception: Fortschrittliche R1-ähnliche kognitive visuelle Wahrnehmung in MLLMs für wissensintensive visuelle Verankerung

DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding

March 17, 2025

Autoren: Xinyu Ma, Ziyang Ding, Zhicong Luo, Chi Chen, Zonghao Guo, Derek F. Wong, Xiaoyi Feng, Maosong Sun

cs.AI

Zusammenfassung

Menschliche Experten zeichnen sich durch feinkörnige visuelle Unterscheidungsfähigkeit aus, indem sie Domänenwissen nutzen, um Wahrnehmungsmerkmale zu verfeinern – eine Fähigkeit, die in aktuellen Multimodalen Großen Sprachmodellen (MLLMs) noch unterentwickelt ist. Obwohl MLLMs über umfangreiches Expertenwissen verfügen, haben sie Schwierigkeiten, logisches Denken in die visuelle Wahrnehmung zu integrieren, und liefern oft direkte Antworten ohne tiefergehende Analyse. Um diese Lücke zu schließen, führen wir die wissensintensive visuelle Verankerung (Knowledge-Intensive Visual Grounding, KVG) ein, eine neuartige visuelle Verankerungsaufgabe, die sowohl feinkörnige Wahrnehmung als auch die Integration von domänenspezifischem Wissen erfordert. Um die Herausforderungen von KVG zu bewältigen, schlagen wir DeepPerception vor, ein MLLM, das mit kognitiven visuellen Wahrnehmungsfähigkeiten erweitert wurde. Unser Ansatz besteht aus (1) einer automatisierten Daten-Synthese-Pipeline, die hochwertige, wissensausgerichtete Trainingsdaten generiert, und (2) einem zweistufigen Trainingsframework, das überwachtes Feintuning für kognitive Denkstrukturen und Verstärkungslernen zur Optimierung der Wahrnehmungs-Kognitions-Synergie kombiniert. Um die Leistung zu bewerten, stellen wir KVG-Bench vor, einen umfassenden Datensatz, der 10 Domänen mit 1,3K manuell kuratierten Testfällen abdeckt. Experimentelle Ergebnisse zeigen, dass DeepPerception das direkte Feintuning deutlich übertrifft, mit einer Genauigkeitssteigerung von +8,08 % auf KVG-Bench und einer um +4,60 % besseren domänenübergreifenden Generalisierung im Vergleich zu Baseline-Ansätzen. Unsere Ergebnisse unterstreichen die Bedeutung der Integration kognitiver Prozesse in MLLMs für eine menschenähnliche visuelle Wahrnehmung und eröffnen neue Richtungen für die multimodale Denkforschung. Die Daten, Codes und Modelle sind unter https://github.com/thunlp/DeepPerception veröffentlicht.

English

Human experts excel at fine-grained visual discrimination by leveraging domain knowledge to refine perceptual features, a capability that remains underdeveloped in current Multimodal Large Language Models (MLLMs). Despite possessing vast expert-level knowledge, MLLMs struggle to integrate reasoning into visual perception, often generating direct responses without deeper analysis. To bridge this gap, we introduce knowledge-intensive visual grounding (KVG), a novel visual grounding task that requires both fine-grained perception and domain-specific knowledge integration. To address the challenges of KVG, we propose DeepPerception, an MLLM enhanced with cognitive visual perception capabilities. Our approach consists of (1) an automated data synthesis pipeline that generates high-quality, knowledge-aligned training samples, and (2) a two-stage training framework combining supervised fine-tuning for cognitive reasoning scaffolding and reinforcement learning to optimize perception-cognition synergy. To benchmark performance, we introduce KVG-Bench a comprehensive dataset spanning 10 domains with 1.3K manually curated test cases. Experimental results demonstrate that DeepPerception significantly outperforms direct fine-tuning, achieving +8.08\% accuracy improvements on KVG-Bench and exhibiting +4.60\% superior cross-domain generalization over baseline approaches. Our findings highlight the importance of integrating cognitive processes into MLLMs for human-like visual perception and open new directions for multimodal reasoning research. The data, codes, and models are released at https://github.com/thunlp/DeepPerception.