Abbiamo Finito con l'Apprendimento Centrato sugli Oggetti?

Are We Done with Object-Centric Learning?

April 9, 2025

Autori: Alexander Rubinstein, Ameya Prabhu, Matthias Bethge, Seong Joon Oh

cs.AI

Abstract

L'apprendimento centrato sugli oggetti (Object-Centric Learning, OCL) mira a imparare rappresentazioni che codificano esclusivamente un oggetto, isolandolo da altri oggetti o indizi di sfondo in una scena. Questo approccio sostiene vari obiettivi, tra cui la generalizzazione fuori distribuzione (out-of-distribution, OOD), la composizione efficiente di campioni e la modellazione di ambienti strutturati. La maggior parte della ricerca si è concentrata sullo sviluppo di meccanismi non supervisionati che separano gli oggetti in slot discreti nello spazio di rappresentazione, valutati mediante la scoperta non supervisionata di oggetti. Tuttavia, con i recenti modelli di segmentazione efficienti in termini di campioni, possiamo separare gli oggetti nello spazio dei pixel e codificarli in modo indipendente. Ciò consente prestazioni zero-shot notevoli sui benchmark di scoperta di oggetti OOD, è scalabile per i modelli di base e può gestire un numero variabile di slot senza necessità di configurazione. Pertanto, l'obiettivo dei metodi OCL di ottenere rappresentazioni centrate sugli oggetti è stato in gran parte raggiunto. Nonostante questi progressi, rimane una domanda cruciale: in che modo la capacità di separare gli oggetti all'interno di una scena contribuisce agli obiettivi più ampi dell'OCL, come la generalizzazione OOD? Affrontiamo questa questione investigando la sfida della generalizzazione OOD causata da indizi di sfondo spurii attraverso la lente dell'OCL. Proponiamo una nuova sonda senza addestramento chiamata Classificazione Centrata sugli Oggetti con Maschere Applicate (Object-Centric Classification with Applied Masks, OCCAM), dimostrando che la codifica basata sulla segmentazione di singoli oggetti supera significativamente i metodi OCL basati su slot. Tuttavia, rimangono sfide nelle applicazioni del mondo reale. Forniamo alla comunità OCL uno strumento per utilizzare rappresentazioni centrate sugli oggetti scalabili, concentrandoci su applicazioni pratiche e questioni fondamentali, come la comprensione della percezione degli oggetti nella cognizione umana. Il nostro codice è disponibile {qui}https://github.com/AlexanderRubinstein/OCCAM.

English

Object-centric learning (OCL) seeks to learn representations that only encode an object, isolated from other objects or background cues in a scene. This approach underpins various aims, including out-of-distribution (OOD) generalization, sample-efficient composition, and modeling of structured environments. Most research has focused on developing unsupervised mechanisms that separate objects into discrete slots in the representation space, evaluated using unsupervised object discovery. However, with recent sample-efficient segmentation models, we can separate objects in the pixel space and encode them independently. This achieves remarkable zero-shot performance on OOD object discovery benchmarks, is scalable to foundation models, and can handle a variable number of slots out-of-the-box. Hence, the goal of OCL methods to obtain object-centric representations has been largely achieved. Despite this progress, a key question remains: How does the ability to separate objects within a scene contribute to broader OCL objectives, such as OOD generalization? We address this by investigating the OOD generalization challenge caused by spurious background cues through the lens of OCL. We propose a novel, training-free probe called Object-Centric Classification with Applied Masks (OCCAM), demonstrating that segmentation-based encoding of individual objects significantly outperforms slot-based OCL methods. However, challenges in real-world applications remain. We provide the toolbox for the OCL community to use scalable object-centric representations, and focus on practical applications and fundamental questions, such as understanding object perception in human cognition. Our code is available https://github.com/AlexanderRubinstein/OCCAM{here}.