SAM2Long: Verbetering van SAM 2 voor Lange Video Segmentatie met een Trainingvrije Geheugenboom

SAM2Long: Enhancing SAM 2 for Long Video Segmentation with a Training-Free Memory Tree

October 21, 2024

Auteurs: Shuangrui Ding, Rui Qian, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Yuwei Guo, Dahua Lin, Jiaqi Wang

cs.AI

Samenvatting

Het Segment Anything Model 2 (SAM 2) is naar voren gekomen als een krachtig basismodel voor objectsegmentatie in zowel afbeeldingen als video's, waardoor verschillende daaropvolgende videotoepassingen mogelijk worden. Het cruciale ontwerp van SAM 2 voor videosegmentatie is zijn geheugenmodule, die objectbewuste herinneringen uit eerdere frames oproept voor voorspellingen in het huidige frame. Echter, het geheugenontwerp met gretige selectie van SAM 2 lijdt aan het "foutenaccumulatie" probleem, waarbij een foutieve of gemiste masker zich kan verspreiden en invloed kan hebben op de segmentatie van de daaropvolgende frames, wat de prestaties van SAM 2 beperkt bij complexe langetermijnvideo's. Om dit aan te pakken, introduceren we SAM2Long, een verbeterde, trainingvrije strategie voor video-objectsegmentatie, die de segmentatieonzekerheid binnen elk frame in overweging neemt en de videoniveau optimale resultaten kiest uit meerdere segmentatiepaden op een beperkte boomzoekmanier. In de praktijk behouden we een vast aantal segmentatiepaden gedurende de video. Voor elk frame worden meerdere maskers voorgesteld op basis van de bestaande paden, wat resulteert in verschillende kandidaatvertakkingen. Vervolgens selecteren we hetzelfde vaste aantal vertakkingen met hogere cumulatieve scores als de nieuwe paden voor het volgende frame. Na verwerking van het laatste frame wordt het pad met de hoogste cumulatieve score gekozen als het uiteindelijke segmentatieresultaat. Dankzij het heuristische zoekontwerp is SAM2Long robuust tegen occlusies en objectheroptredens, en kan het objecten effectief segmenteren en volgen in complexe langetermijnvideo's. Opmerkelijk behaalt SAM2Long een gemiddelde verbetering van 3,0 punten in alle 24 directe vergelijkingen, met winsten tot 5,3 punten in J&F op langetermijnvideosegmentatie-benchmarks zoals SA-V en LVOS. De code is beschikbaar op https://github.com/Mark12Ding/SAM2Long.

English

The Segment Anything Model 2 (SAM 2) has emerged as a powerful foundation model for object segmentation in both images and videos, paving the way for various downstream video applications. The crucial design of SAM 2 for video segmentation is its memory module, which prompts object-aware memories from previous frames for current frame prediction. However, its greedy-selection memory design suffers from the "error accumulation" problem, where an errored or missed mask will cascade and influence the segmentation of the subsequent frames, which limits the performance of SAM 2 toward complex long-term videos. To this end, we introduce SAM2Long, an improved training-free video object segmentation strategy, which considers the segmentation uncertainty within each frame and chooses the video-level optimal results from multiple segmentation pathways in a constrained tree search manner. In practice, we maintain a fixed number of segmentation pathways throughout the video. For each frame, multiple masks are proposed based on the existing pathways, creating various candidate branches. We then select the same fixed number of branches with higher cumulative scores as the new pathways for the next frame. After processing the final frame, the pathway with the highest cumulative score is chosen as the final segmentation result. Benefiting from its heuristic search design, SAM2Long is robust toward occlusions and object reappearances, and can effectively segment and track objects for complex long-term videos. Notably, SAM2Long achieves an average improvement of 3.0 points across all 24 head-to-head comparisons, with gains of up to 5.3 points in J&F on long-term video object segmentation benchmarks such as SA-V and LVOS. The code is released at https://github.com/Mark12Ding/SAM2Long.