YOLOE: Echtzeit-Erkennung von allem

YOLOE: Real-Time Seeing Anything

March 10, 2025

Autoren: Ao Wang, Lihao Liu, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

cs.AI

Zusammenfassung

Objekterkennung und -segmentierung werden in Computer-Vision-Anwendungen weit verbreitet eingesetzt. Konventionelle Modelle wie die YOLO-Serie sind zwar effizient und genau, jedoch durch vordefinierte Kategorien eingeschränkt, was ihre Anpassungsfähigkeit in offenen Szenarien behindert. Neuere Open-Set-Methoden nutzen Textprompts, visuelle Hinweise oder ein Prompt-freies Paradigma, um dies zu überwinden, opfern jedoch oft Leistung und Effizienz aufgrund hoher Rechenanforderungen oder komplexer Implementierung. In dieser Arbeit stellen wir YOLOE vor, das Erkennung und Segmentierung über diverse offene Prompt-Mechanismen in einem einzigen hocheffizienten Modell integriert und Echtzeit-Erkennung von allem ermöglicht. Für Textprompts schlagen wir die Re-parametrisierbare Region-Text-Ausrichtung (RepRTA) vor. Diese verfeinert vortrainierte Text-Einbettungen über ein re-parametrisierbares leichtgewichtiges Hilfsnetzwerk und verbessert die visuell-textuelle Ausrichtung ohne zusätzlichen Inferenz- oder Transferaufwand. Für visuelle Prompts präsentieren wir den Semantisch-Aktivierten Visuellen Prompt-Encoder (SAVPE). Dieser verwendet entkoppelte semantische und Aktivierungszweige, um verbesserte visuelle Einbettungen und Genauigkeit mit minimaler Komplexität zu erreichen. Für Prompt-freie Szenarien führen wir die Lazy Region-Prompt-Kontraststrategie (LRPC) ein. Diese nutzt ein integriertes großes Vokabular und spezialisierte Einbettungen, um alle Objekte zu identifizieren und die kostspielige Abhängigkeit von Sprachmodellen zu vermeiden. Umfangreiche Experimente zeigen die außergewöhnliche Zero-Shot-Leistung und Übertragbarkeit von YOLOE bei hoher Inferenzeffizienz und niedrigen Trainingskosten. Insbesondere übertrifft YOLOE-v8-S auf LVIS mit dreimal geringeren Trainingskosten und 1,4-facher Inferenzbeschleunigung YOLO-Worldv2-S um 3,5 AP. Bei der Übertragung auf COCO erzielt YOLOE-v8-L im Vergleich zum Closed-Set YOLOv8-L einen Gewinn von 0,6 AP^b und 0,4 AP^m bei nahezu viermal kürzerer Trainingszeit. Code und Modelle sind verfügbar unter https://github.com/THU-MIG/yoloe.

English

Object detection and segmentation are widely employed in computer vision applications, yet conventional models like YOLO series, while efficient and accurate, are limited by predefined categories, hindering adaptability in open scenarios. Recent open-set methods leverage text prompts, visual cues, or prompt-free paradigm to overcome this, but often compromise between performance and efficiency due to high computational demands or deployment complexity. In this work, we introduce YOLOE, which integrates detection and segmentation across diverse open prompt mechanisms within a single highly efficient model, achieving real-time seeing anything. For text prompts, we propose Re-parameterizable Region-Text Alignment (RepRTA) strategy. It refines pretrained textual embeddings via a re-parameterizable lightweight auxiliary network and enhances visual-textual alignment with zero inference and transferring overhead. For visual prompts, we present Semantic-Activated Visual Prompt Encoder (SAVPE). It employs decoupled semantic and activation branches to bring improved visual embedding and accuracy with minimal complexity. For prompt-free scenario, we introduce Lazy Region-Prompt Contrast (LRPC) strategy. It utilizes a built-in large vocabulary and specialized embedding to identify all objects, avoiding costly language model dependency. Extensive experiments show YOLOE's exceptional zero-shot performance and transferability with high inference efficiency and low training cost. Notably, on LVIS, with 3times less training cost and 1.4times inference speedup, YOLOE-v8-S surpasses YOLO-Worldv2-S by 3.5 AP. When transferring to COCO, YOLOE-v8-L achieves 0.6 AP^b and 0.4 AP^m gains over closed-set YOLOv8-L with nearly 4times less training time. Code and models are available at https://github.com/THU-MIG/yoloe.