SAM2Long: Verbesserung von SAM 2 für die Segmentierung langer Videos mit einem Training-freien Memory Tree

SAM2Long: Enhancing SAM 2 for Long Video Segmentation with a Training-Free Memory Tree

October 21, 2024

Autoren: Shuangrui Ding, Rui Qian, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Yuwei Guo, Dahua Lin, Jiaqi Wang

cs.AI

Zusammenfassung

Das Segment Anything Model 2 (SAM 2) hat sich als leistungsstarkes Grundlagenmodell für die Objektsegmentierung in Bildern und Videos etabliert und ebnet den Weg für verschiedene nachgelagerte Videoanwendungen. Das entscheidende Design von SAM 2 für die Videosegmentierung ist sein Speichermodul, das objektbewusste Erinnerungen aus vorherigen Frames für die Vorhersage des aktuellen Frames anregt. Allerdings leidet sein gieriges Auswahl-Speicherdesign unter dem "Fehlerakkumulations"-Problem, bei dem eine fehlerhafte oder verpasste Maske kaskadenartig wirkt und die Segmentierung der nachfolgenden Frames beeinflusst, was die Leistung von SAM 2 bei komplexen Langzeitvideos einschränkt. Zu diesem Zweck stellen wir SAM2Long vor, eine verbesserte, trainingsfreie Strategie für die Videoobjektsegmentierung, die die Segmentierungsunsicherheit innerhalb jedes Frames berücksichtigt und die videoebenen optimalen Ergebnisse aus mehreren Segmentierungspfaden auf eine eingeschränkte Baum-Suchweise auswählt. In der Praxis halten wir eine feste Anzahl von Segmentierungspfaden während des gesamten Videos aufrecht. Für jedes Frame werden basierend auf den vorhandenen Pfaden mehrere Masken vorgeschlagen, die verschiedene Kandidatenzweige erzeugen. Anschließend wählen wir dieselbe feste Anzahl von Zweigen mit höheren kumulativen Punktzahlen als neue Pfade für das nächste Frame aus. Nach der Verarbeitung des letzten Frames wird der Pfad mit der höchsten kumulativen Punktzahl als endgültiges Segmentierungsergebnis ausgewählt. Dank seines heuristischen Suchdesigns ist SAM2Long robust gegenüber Verdeckungen und dem erneuten Erscheinen von Objekten und kann Objekte in komplexen Langzeitvideos effektiv segmentieren und verfolgen. Bemerkenswerterweise erzielt SAM2Long eine durchschnittliche Verbesserung von 3,0 Punkten bei allen 24 direkten Vergleichen, mit Zuwächsen von bis zu 5,3 Punkten in J&F bei Langzeitvideosegmentierungsbenchmarks wie SA-V und LVOS. Der Code ist unter https://github.com/Mark12Ding/SAM2Long verfügbar.

English

The Segment Anything Model 2 (SAM 2) has emerged as a powerful foundation model for object segmentation in both images and videos, paving the way for various downstream video applications. The crucial design of SAM 2 for video segmentation is its memory module, which prompts object-aware memories from previous frames for current frame prediction. However, its greedy-selection memory design suffers from the "error accumulation" problem, where an errored or missed mask will cascade and influence the segmentation of the subsequent frames, which limits the performance of SAM 2 toward complex long-term videos. To this end, we introduce SAM2Long, an improved training-free video object segmentation strategy, which considers the segmentation uncertainty within each frame and chooses the video-level optimal results from multiple segmentation pathways in a constrained tree search manner. In practice, we maintain a fixed number of segmentation pathways throughout the video. For each frame, multiple masks are proposed based on the existing pathways, creating various candidate branches. We then select the same fixed number of branches with higher cumulative scores as the new pathways for the next frame. After processing the final frame, the pathway with the highest cumulative score is chosen as the final segmentation result. Benefiting from its heuristic search design, SAM2Long is robust toward occlusions and object reappearances, and can effectively segment and track objects for complex long-term videos. Notably, SAM2Long achieves an average improvement of 3.0 points across all 24 head-to-head comparisons, with gains of up to 5.3 points in J&F on long-term video object segmentation benchmarks such as SA-V and LVOS. The code is released at https://github.com/Mark12Ding/SAM2Long.