OOD Object Detectors가 Foundation 모델로부터 학습할 수 있을까요?

Can OOD Object Detectors Learn from Foundation Models?

September 8, 2024

저자: Jiahui Liu, Xin Wen, Shizhen Zhao, Yingxian Chen, Xiaojuan Qi

cs.AI

초록

분포 밖 (OOD) 객체 감지는 오픈셋 OOD 데이터의 부재로 인해 어려운 작업입니다. Stable Diffusion과 같은 최근 텍스트에서 이미지로 생성 모델의 발전을 영감으로 삼아, 대규모 오픈셋 데이터로 훈련된 생성 모델의 잠재력을 연구하여 OOD 샘플을 합성함으로써 OOD 객체 감지를 향상시킬 수 있는 가능성을 연구합니다. 우리는 SyncOOD를 소개합니다. 이는 대규모 기반 모델의 능력을 활용하여 텍스트에서 이미지로 생성된 모델에서 의미 있는 OOD 데이터를 자동으로 추출하는 간단한 데이터 정제 방법입니다. 이를 통해 모델은 오프더셀프 기반 모델에 포함된 오픈 월드 지식에 접근할 수 있습니다. 합성 OOD 샘플은 가벼운 플러그 앤 플레이 OOD 감지기의 교육을 보강하는 데 사용되어, 결과적으로 분포 내(ID)/OOD 결정 경계를 효과적으로 최적화합니다. 다양한 벤치마크를 통한 광범위한 실험 결과, SyncOOD가 기존 방법을 크게 능가하여 최소한의 합성 데이터 사용으로 새로운 최신 기술 성능을 확립함을 입증합니다.

English

Out-of-distribution (OOD) object detection is a challenging task due to the absence of open-set OOD data. Inspired by recent advancements in text-to-image generative models, such as Stable Diffusion, we study the potential of generative models trained on large-scale open-set data to synthesize OOD samples, thereby enhancing OOD object detection. We introduce SyncOOD, a simple data curation method that capitalizes on the capabilities of large foundation models to automatically extract meaningful OOD data from text-to-image generative models. This offers the model access to open-world knowledge encapsulated within off-the-shelf foundation models. The synthetic OOD samples are then employed to augment the training of a lightweight, plug-and-play OOD detector, thus effectively optimizing the in-distribution (ID)/OOD decision boundaries. Extensive experiments across multiple benchmarks demonstrate that SyncOOD significantly outperforms existing methods, establishing new state-of-the-art performance with minimal synthetic data usage.