Multimodale Chain-of-Thought-Argumentation: Eine umfassende Übersicht

Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey

March 16, 2025

Autoren: Yaoting Wang, Shengqiong Wu, Yuecheng Zhang, William Wang, Ziwei Liu, Jiebo Luo, Hao Fei

cs.AI

Zusammenfassung

Durch die Erweiterung des Vorteils der Chain-of-Thought (CoT)-Argumentation in menschenähnlichen schrittweisen Prozessen auf multimodale Kontexte hat die multimodale CoT (MCoT)-Argumentation in letzter Zeit erhebliche Forschungsaufmerksamkeit erregt, insbesondere in der Integration mit multimodalen großen Sprachmodellen (MLLMs). Bestehende MCoT-Studien entwickeln verschiedene Methodologien und innovative Argumentationsparadigmen, um die einzigartigen Herausforderungen von Bildern, Videos, Sprache, Audio, 3D und strukturierten Daten über verschiedene Modalitäten hinweg zu bewältigen, und erzielen dabei umfangreiche Erfolge in Anwendungen wie Robotik, Gesundheitswesen, autonomes Fahren und multimodale Generierung. Dennoch birgt MCoT weiterhin spezifische Herausforderungen und Chancen, die weitere Aufmerksamkeit erfordern, um ein kontinuierliches Gedeihen in diesem Bereich zu gewährleisten, wobei leider eine aktuelle Übersicht über dieses Gebiet fehlt. Um diese Lücke zu schließen, präsentieren wir die erste systematische Übersicht über MCoT-Argumentation, die die relevanten Grundkonzepte und Definitionen erläutert. Wir bieten eine umfassende Taxonomie und eine detaillierte Analyse aktueller Methodologien aus verschiedenen Perspektiven über verschiedene Anwendungsszenarien hinweg. Darüber hinaus geben wir Einblicke in bestehende Herausforderungen und zukünftige Forschungsrichtungen, mit dem Ziel, Innovationen in Richtung multimodaler AGI zu fördern.

English

By extending the advantage of chain-of-thought (CoT) reasoning in human-like step-by-step processes to multimodal contexts, multimodal CoT (MCoT) reasoning has recently garnered significant research attention, especially in the integration with multimodal large language models (MLLMs). Existing MCoT studies design various methodologies and innovative reasoning paradigms to address the unique challenges of image, video, speech, audio, 3D, and structured data across different modalities, achieving extensive success in applications such as robotics, healthcare, autonomous driving, and multimodal generation. However, MCoT still presents distinct challenges and opportunities that require further focus to ensure consistent thriving in this field, where, unfortunately, an up-to-date review of this domain is lacking. To bridge this gap, we present the first systematic survey of MCoT reasoning, elucidating the relevant foundational concepts and definitions. We offer a comprehensive taxonomy and an in-depth analysis of current methodologies from diverse perspectives across various application scenarios. Furthermore, we provide insights into existing challenges and future research directions, aiming to foster innovation toward multimodal AGI.