물체 속 얼굴 인식: 패러이돌리아를 위한 모델과 데이터셋

Seeing Faces in Things: A Model and Dataset for Pareidolia

September 24, 2024

저자: Mark Hamilton, Simon Stent, Vasha DuTell, Anne Harrington, Jennifer Corbett, Ruth Rosenholtz, William T. Freeman

cs.AI

초록

인간 시각 시스템은 모든 형태와 크기의 얼굴을 감지하는 데 민감하게 조정되어 있습니다. 이는 알려지지 않은 포식자를 더 잘 발견할 가능성과 같은 명백한 생존 장점을 가져오지만, 동시에 잘못된 얼굴 감지로 이어집니다. "얼굴 페레이돌리아"는 그 외의 무작위 자극 속에서 얼굴과 같은 구조를 인식하는 현상을 설명합니다: 커피 얼룩이나 하늘의 구름 속에서 얼굴을 보는 것과 같은 것입니다. 본 논문에서는 컴퓨터 비전 관점에서 얼굴 페레이돌리아를 연구합니다. 우리는 "물건 속의 얼굴"이미지 데이터셋을 제시합니다. 이 데이터셋은 인간이 주석을 단 얼굴을 가진 다섯 천 개의 웹 이미지로 구성되어 있습니다. 이 데이터셋을 사용하여 최첨단 인간 얼굴 감지기가 얼굴 페레이돌리아를 나타내는지를 조사하고, 인간과 기계 간에 상당한 행동적 격차를 발견합니다. 우리는 인간이 동물 얼굴 뿐만 아니라 인간 얼굴을 감지해야 하는 진화적 필요성이 이 격차의 일부를 설명할 수 있다는 것을 발견했습니다. 마지막으로, 이미지에서의 페레이돌리아에 대한 간단한 통계 모델을 제안합니다. 인간 대상 연구 및 우리의 페레이돌릭 얼굴 감지기를 통한 연구를 통해 우리 모델의 주요 예측이 어떤 이미지 조건이 페레이돌리아를 유발하기 가장 가능성이 높은지 확인합니다. 데이터셋 및 웹사이트: https://aka.ms/faces-in-things

English

The human visual system is well-tuned to detect faces of all shapes and sizes. While this brings obvious survival advantages, such as a better chance of spotting unknown predators in the bush, it also leads to spurious face detections. ``Face pareidolia'' describes the perception of face-like structure among otherwise random stimuli: seeing faces in coffee stains or clouds in the sky. In this paper, we study face pareidolia from a computer vision perspective. We present an image dataset of ``Faces in Things'', consisting of five thousand web images with human-annotated pareidolic faces. Using this dataset, we examine the extent to which a state-of-the-art human face detector exhibits pareidolia, and find a significant behavioral gap between humans and machines. We find that the evolutionary need for humans to detect animal faces, as well as human faces, may explain some of this gap. Finally, we propose a simple statistical model of pareidolia in images. Through studies on human subjects and our pareidolic face detectors we confirm a key prediction of our model regarding what image conditions are most likely to induce pareidolia. Dataset and Website: https://aka.ms/faces-in-things