Multimodale LLMs können über Ästhetik im Zero-Shot-Verfahren Schlussfolgerungen ziehen.

Multimodal LLMs Can Reason about Aesthetics in Zero-Shot

January 15, 2025

Autoren: Ruixiang Jiang, Changwen Chen

cs.AI

Zusammenfassung

Wir präsentieren die erste Studie darüber, wie die Fähigkeit zur Argumentation von Multimodalen Sprachmodellen (MLLMs) zur Bewertung der Ästhetik von Kunstwerken herangezogen werden soll. Um diese Untersuchung zu erleichtern, konstruieren wir MM-StyleBench, einen neuartigen Datensatz von hoher Qualität zur Bewertung künstlerischer Stilisierung. Anschließend entwickeln wir eine methodische Methode zur Modellierung menschlicher Präferenzen und führen eine systematische Korrelationsanalyse zwischen den Antworten der MLLMs und menschlichen Präferenzen durch. Unsere Experimente enthüllen ein inhärentes Halluzinationsproblem von MLLMs bei der Kunstbewertung, das mit subjektiven Antworten verbunden ist. ArtCoT wird vorgeschlagen, was zeigt, dass eine kunstspezifische Aufgabenzerlegung und die Verwendung konkreter Sprache die Argumentationsfähigkeit von MLLMs für Ästhetik verbessern. Unsere Ergebnisse bieten wertvolle Einblicke in MLLMs für Kunst und können eine Vielzahl von nachgelagerten Anwendungen wie Stiltransfer und künstlerische Bildgenerierung unterstützen. Code verfügbar unter https://github.com/songrise/MLLM4Art.

English

We present the first study on how Multimodal LLMs' (MLLMs) reasoning ability shall be elicited to evaluate the aesthetics of artworks. To facilitate this investigation, we construct MM-StyleBench, a novel high-quality dataset for benchmarking artistic stylization. We then develop a principled method for human preference modeling and perform a systematic correlation analysis between MLLMs' responses and human preference. Our experiments reveal an inherent hallucination issue of MLLMs in art evaluation, associated with response subjectivity. ArtCoT is proposed, demonstrating that art-specific task decomposition and the use of concrete language boost MLLMs' reasoning ability for aesthetics. Our findings offer valuable insights into MLLMs for art and can benefit a wide range of downstream applications, such as style transfer and artistic image generation. Code available at https://github.com/songrise/MLLM4Art.