M3-AGIQA: Мультимодальная, многокруговая, многоаспектная оценка качества изображений, созданных искусственным интеллектом.

M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment

February 21, 2025

Авторы: Chuan Cui, Kejiang Chen, Zhihua Wei, Wen Shen, Weiming Zhang, Nenghai Yu

cs.AI

Аннотация

Быстрое развитие моделей искусственного интеллекта, создающих изображения (AGI), представляет существенные вызовы при оценке их качества, что требует учета нескольких измерений, таких как качество восприятия, оперативная соответственность и подлинность. Для решения этих проблем мы предлагаем M3-AGIQA, комплексную систему оценки качества AGI, которая является мультимодальной, многокруговой и многоплановой. Наш подход использует возможности мультимодальных больших языковых моделей (MLLMs) в качестве совместных кодировщиков текста и изображения и извлекает передовые возможности подписывания изображений из онлайн MLLMs в локальную модель с помощью тонкой настройки с использованием метода низкоранговой адаптации (LoRA). Система включает структурированный многокруговой механизм оценки, в рамках которого генерируются промежуточные описания изображений для предоставления более глубокого понимания качества, соответствия и подлинности. Для согласования предсказаний с восприятием человека включен предсказатель, построенный на основе xLSTM и регрессионной головы, для обработки последовательных логитов и предсказания средних оценок мнения (MOSs). Обширные эксперименты, проведенные на нескольких эталонных наборах данных, показывают, что M3-AGIQA достигает передовых показателей производительности, эффективно улавливая тонкие аспекты качества AGI. Кроме того, проверка на перекрестных наборах данных подтверждает его высокую обобщаемость. Код доступен по адресу https://github.com/strawhatboy/M3-AGIQA.

English

The rapid advancement of AI-generated image (AGI) models has introduced significant challenges in evaluating their quality, which requires considering multiple dimensions such as perceptual quality, prompt correspondence, and authenticity. To address these challenges, we propose M3-AGIQA, a comprehensive framework for AGI quality assessment that is Multimodal, Multi-Round, and Multi-Aspect. Our approach leverages the capabilities of Multimodal Large Language Models (MLLMs) as joint text and image encoders and distills advanced captioning capabilities from online MLLMs into a local model via Low-Rank Adaptation (LoRA) fine-tuning. The framework includes a structured multi-round evaluation mechanism, where intermediate image descriptions are generated to provide deeper insights into the quality, correspondence, and authenticity aspects. To align predictions with human perceptual judgments, a predictor constructed by an xLSTM and a regression head is incorporated to process sequential logits and predict Mean Opinion Scores (MOSs). Extensive experiments conducted on multiple benchmark datasets demonstrate that M3-AGIQA achieves state-of-the-art performance, effectively capturing nuanced aspects of AGI quality. Furthermore, cross-dataset validation confirms its strong generalizability. The code is available at https://github.com/strawhatboy/M3-AGIQA.