인간 라벨링 없이 이미지 안전성을 평가하기 위한 MLLM 판별기

MLLM-as-a-Judge for Image Safety without Human Labeling

December 31, 2024

저자: Zhenting Wang, Shuming Hu, Shiyu Zhao, Xiaowen Lin, Felix Juefei-Xu, Zhuowei Li, Ligong Han, Harihar Subramanyam, Li Chen, Jianfa Chen, Nan Jiang, Lingjuan Lyu, Shiqing Ma, Dimitris N. Metaxas, Ankit Jain

cs.AI

초록

이미지 콘텐츠 안전은 온라인 플랫폼에서 시각 미디어의 증가와 함께 중요한 과제가 되었습니다. 한편, AI 생성 콘텐츠(AIGC) 시대에는 많은 이미지 생성 모델이 성적이거나 폭력적인 콘텐츠를 생성할 수 있습니다. 따라서 안전한 이미지를 식별하는 데 확립된 안전 규칙을 기반으로 하는 것이 중요해졌습니다. 사전 훈련된 다중 모달 대형 언어 모델(MLLMs)은 강력한 패턴 인식 능력을 갖고 있어 이러한 측면에서 잠재력을 제공합니다. 기존 방법은 일반적으로 인간이 레이블링한 데이터셋으로 MLLMs를 세밀하게 조정하는데, 그러나 이는 일련의 단점을 야기합니다. 첫째, 복잡하고 상세한 지침을 따라 데이터를 레이블링하기 위해 인간 주석자에 의존하는 것은 비용이 많이 들며 노동 집약적입니다. 또한 안전 판단 시스템의 사용자는 안전 규칙을 자주 업데이트해야 할 수 있어 인간 기반 주석에 대한 세밀한 조정이 더 어려워집니다. 이로 인해 다음과 같은 연구 질문이 제기되었습니다: 사전 정의된 안전 규칙(안전 규칙 세트)을 사용하여 MLLMs에 쿼리하여 제로샷 설정에서 안전하지 않은 이미지를 감지할 수 있을까? 우리의 연구 결과, 단순히 사전 훈련된 MLLMs에 쿼리하는 것만으로는 만족스러운 결과를 얻지 못했습니다. 이 효과 부족은 안전 규칙의 주관성, 긴 규칙의 복잡성, 그리고 모델의 내재적 편향 등과 같은 요인에서 비롯됩니다. 이러한 도전에 대처하기 위해 우리는 MLLM 기반 방법을 제안합니다. 이 방법은 안전 규칙을 객관화하고, 규칙과 이미지 간의 관련성을 평가하며, 논리적으로 완전하고 단순화된 전제 체인을 사용하여 디바이스된 토큰 확률에 기초한 신속한 판단을 내리며, 필요한 경우에는 계단식 사고 과정을 통해 보다 심층적인 추론을 수행합니다. 실험 결과는 우리의 방법이 제로샷 이미지 안전 판단 작업에 매우 효과적임을 입증하고 있습니다.

English

Image content safety has become a significant challenge with the rise of visual media on online platforms. Meanwhile, in the age of AI-generated content (AIGC), many image generation models are capable of producing harmful content, such as images containing sexual or violent material. Thus, it becomes crucial to identify such unsafe images based on established safety rules. Pre-trained Multimodal Large Language Models (MLLMs) offer potential in this regard, given their strong pattern recognition abilities. Existing approaches typically fine-tune MLLMs with human-labeled datasets, which however brings a series of drawbacks. First, relying on human annotators to label data following intricate and detailed guidelines is both expensive and labor-intensive. Furthermore, users of safety judgment systems may need to frequently update safety rules, making fine-tuning on human-based annotation more challenging. This raises the research question: Can we detect unsafe images by querying MLLMs in a zero-shot setting using a predefined safety constitution (a set of safety rules)? Our research showed that simply querying pre-trained MLLMs does not yield satisfactory results. This lack of effectiveness stems from factors such as the subjectivity of safety rules, the complexity of lengthy constitutions, and the inherent biases in the models. To address these challenges, we propose a MLLM-based method includes objectifying safety rules, assessing the relevance between rules and images, making quick judgments based on debiased token probabilities with logically complete yet simplified precondition chains for safety rules, and conducting more in-depth reasoning with cascaded chain-of-thought processes if necessary. Experiment results demonstrate that our method is highly effective for zero-shot image safety judgment tasks.