RoCo-Sim: Verbesserung der kollaborativen Wahrnehmung im Straßenumfeld durch Vordergrundsimulation

RoCo-Sim: Enhancing Roadside Collaborative Perception through Foreground Simulation

March 13, 2025

Autoren: Yuwen Du, Anning Hu, Zichen Chao, Yifan Lu, Junhao Ge, Genjia Liu, Weitao Wu, Lanjun Wang, Siheng Chen

cs.AI

Zusammenfassung

Roadside Collaborative Perception bezeichnet ein System, bei dem mehrere Straßeneinheiten zusammenarbeiten, um ihre Wahrnehmungsdaten zu bündeln und Fahrzeuge bei der Verbesserung ihrer Umgebungswahrnehmung zu unterstützen. Bisherige Methoden zur Straßenwahrnehmung konzentrieren sich auf das Modelldesign, vernachlässigen jedoch Datenprobleme wie Kalibrierungsfehler, spärliche Informationen und Multi-View-Konsistenz, was zu schlechten Leistungen in kürzlich veröffentlichten Datensätzen führt. Um die Straßenkollaborationswahrnehmung erheblich zu verbessern und kritische Datenprobleme zu lösen, präsentieren wir das erste Simulationsframework RoCo-Sim für die Straßenkollaborationswahrnehmung. RoCo-Sim ist in der Lage, vielfältige, multi-view-konsistente simulierte Straßendaten durch dynamische Vordergrundbearbeitung und vollständige Szenenstilübertragung eines einzelnen Bildes zu generieren. RoCo-Sim besteht aus vier Komponenten: (1) Die Camera Extrinsic Optimization stellt eine genaue 3D-zu-2D-Projektion für Straßenkameras sicher; (2) Ein neuartiger Multi-View Occlusion-Aware Sampler (MOAS) bestimmt die Platzierung verschiedener digitaler Assets im 3D-Raum; (3) DepthSAM modelliert innovativ Vordergrund-Hintergrund-Beziehungen aus Einzelbildern mit festem Blickwinkel und gewährleistet die Multi-View-Konsistenz des Vordergrunds; und (4) Ein skalierbares Nachbearbeitungstoolkit erzeugt durch Stilübertragung und andere Verbesserungen realistischere und angereicherte Szenen. RoCo-Sim verbessert die 3D-Objekterkennung an Straßen erheblich und übertrifft SOTA-Methoden um 83,74 auf Rcooper-Intersection und 83,12 auf TUMTraf-V2X für AP70. RoCo-Sim schließt eine kritische Lücke in der Simulation der Straßenwahrnehmung. Code und vortrainierte Modelle werden bald veröffentlicht: https://github.com/duyuwen-duen/RoCo-Sim

English

Roadside Collaborative Perception refers to a system where multiple roadside units collaborate to pool their perceptual data, assisting vehicles in enhancing their environmental awareness. Existing roadside perception methods concentrate on model design but overlook data issues like calibration errors, sparse information, and multi-view consistency, leading to poor performance on recent published datasets. To significantly enhance roadside collaborative perception and address critical data issues, we present the first simulation framework RoCo-Sim for road-side collaborative perception. RoCo-Sim is capable of generating diverse, multi-view consistent simulated roadside data through dynamic foreground editing and full-scene style transfer of a single image. RoCo-Sim consists of four components: (1) Camera Extrinsic Optimization ensures accurate 3D to 2D projection for roadside cameras; (2) A novel Multi-View Occlusion-Aware Sampler (MOAS) determines the placement of diverse digital assets within 3D space; (3) DepthSAM innovatively models foreground-background relationships from single-frame fixed-view images, ensuring multi-view consistency of foreground; and (4) Scalable Post-Processing Toolkit generates more realistic and enriched scenes through style transfer and other enhancements. RoCo-Sim significantly improves roadside 3D object detection, outperforming SOTA methods by 83.74 on Rcooper-Intersection and 83.12 on TUMTraf-V2X for AP70. RoCo-Sim fills a critical gap in roadside perception simulation. Code and pre-trained models will be released soon: https://github.com/duyuwen-duen/RoCo-Sim