MMKE-Bench: Мультимодальный бенчмарк для разнообразных визуальных знаний

MMKE-Bench: A Multimodal Editing Benchmark for Diverse Visual Knowledge

February 27, 2025

Авторы: Yuntao Du, Kailin Jiang, Zhi Gao, Chenrui Shi, Zilong Zheng, Siyuan Qi, Qing Li

cs.AI

Аннотация

Техники редактирования знаний стали неотъемлемыми инструментами для обновления фактических знаний больших языковых моделей (LLM) и мультимодальных моделей (LMM), позволяя им исправлять устаревшую или неточную информацию без повторного обучения с нуля. Однако существующие эталоны для редактирования мультимодальных знаний в основном сосредоточены на знаниях на уровне сущностей, представленных в виде простых троек, что не удается уловить сложность мультимодальной информации реального мира. Для решения этой проблемы мы представляем MMKE-Bench, обширный эталон для редактирования мультимодальных знаний, разработанный для оценки способности LMM редактировать разнообразные визуальные знания в реальных сценариях. MMKE-Bench решает эти ограничения, включая три типа задач редактирования: редактирование визуальной сущности, редактирование визуальной семантики и редактирование для конкретного пользователя. Кроме того, MMKE-Bench использует естественный язык произвольной формы для представления и редактирования знаний, предлагая более гибкий и эффективный формат. Эталон состоит из 2 940 фрагментов знаний и 8 363 изображений в 33 широких категориях, с вопросами оценки, созданными автоматически и проверенными людьми. Мы оцениваем пять передовых методов редактирования знаний на трех ведущих LMM, выявляя, что ни один метод не превосходит по всем критериям, и что визуальные и редактирования для конкретного пользователя являются особенно сложными. MMKE-Bench устанавливает новый стандарт для оценки надежности техник редактирования мультимодальных знаний, способствуя прогрессу в этом быстро развивающемся поле.

English

Knowledge editing techniques have emerged as essential tools for updating the factual knowledge of large language models (LLMs) and multimodal models (LMMs), allowing them to correct outdated or inaccurate information without retraining from scratch. However, existing benchmarks for multimodal knowledge editing primarily focus on entity-level knowledge represented as simple triplets, which fail to capture the complexity of real-world multimodal information. To address this issue, we introduce MMKE-Bench, a comprehensive MultiModal Knowledge Editing Benchmark, designed to evaluate the ability of LMMs to edit diverse visual knowledge in real-world scenarios. MMKE-Bench addresses these limitations by incorporating three types of editing tasks: visual entity editing, visual semantic editing, and user-specific editing. Besides, MMKE-Bench uses free-form natural language to represent and edit knowledge, offering a more flexible and effective format. The benchmark consists of 2,940 pieces of knowledge and 8,363 images across 33 broad categories, with evaluation questions automatically generated and human-verified. We assess five state-of-the-art knowledge editing methods on three prominent LMMs, revealing that no method excels across all criteria, and that visual and user-specific edits are particularly challenging. MMKE-Bench sets a new standard for evaluating the robustness of multimodal knowledge editing techniques, driving progress in this rapidly evolving field.