Correlatie van Objectdetectieprestaties met Visuele Saliëntie en Dieptestimatie

Correlation of Object Detection Performance with Visual Saliency and Depth Estimation

November 5, 2024

Auteurs: Matthias Bartolo, Dylan Seychell

cs.AI

Samenvatting

Naarmate objectdetectietechnieken blijven evolueren, wordt het cruciaal om hun relaties met aanvullende visuele taken te begrijpen voor het optimaliseren van modelarchitecturen en rekenbronnen. Dit artikel onderzoekt de correlaties tussen objectdetectie-accuraatheid en twee fundamentele visuele taken: dieptepredictie en visuele salientiepredictie. Door uitgebreide experimenten met geavanceerde modellen (DeepGaze IIE, Depth Anything, DPT-Large en het model van Itti) op COCO- en Pascal VOC-datasets, vinden we dat visuele salientie consistent sterkere correlaties vertoont met objectdetectie-accuraatheid (mArho tot 0.459 op Pascal VOC) in vergelijking met dieptepredictie (mArho tot 0.283). Onze analyse onthult significante variaties in deze correlaties tussen objectcategorieën, waarbij grotere objecten correlatiewaarden laten zien die tot drie keer hoger zijn dan kleinere objecten. Deze bevindingen suggereren dat het opnemen van visuele salientiekenmerken in objectdetectiearchitecturen mogelijk voordeliger is dan diepte-informatie, vooral voor specifieke objectcategorieën. De waargenomen categorie-specifieke variaties bieden ook inzichten voor gerichte feature engineering en verbeteringen in datasetontwerp, wat mogelijk leidt tot efficiëntere en nauwkeurigere objectdetectiesystemen.

English

As object detection techniques continue to evolve, understanding their relationships with complementary visual tasks becomes crucial for optimising model architectures and computational resources. This paper investigates the correlations between object detection accuracy and two fundamental visual tasks: depth prediction and visual saliency prediction. Through comprehensive experiments using state-of-the-art models (DeepGaze IIE, Depth Anything, DPT-Large, and Itti's model) on COCO and Pascal VOC datasets, we find that visual saliency shows consistently stronger correlations with object detection accuracy (mArho up to 0.459 on Pascal VOC) compared to depth prediction (mArho up to 0.283). Our analysis reveals significant variations in these correlations across object categories, with larger objects showing correlation values up to three times higher than smaller objects. These findings suggest incorporating visual saliency features into object detection architectures could be more beneficial than depth information, particularly for specific object categories. The observed category-specific variations also provide insights for targeted feature engineering and dataset design improvements, potentially leading to more efficient and accurate object detection systems.