MatAnyone: 일관된 메모리 전파를 통한 안정적인 비디오 매팅

MatAnyone: Stable Video Matting with Consistent Memory Propagation

January 24, 2025

저자: Peiqing Yang, Shangchen Zhou, Jixin Zhao, Qingyi Tao, Chen Change Loy

cs.AI

초록

보조 없는 인간 비디오 매팅 방법은 입력 프레임에만 의존하는데, 종종 복잡하거나 모호한 배경에서 어려움을 겪습니다. 이를 해결하기 위해 우리는 대상 지정 비디오 매팅에 특화된 견고한 프레임워크인 MatAnyone을 제안합니다. 구체적으로, 메모리 기반 패러다임을 기반으로하여, 우리는 이전 프레임에서 메모리를 적응적으로 통합하는 일관된 메모리 전파 모듈을 도입합니다. 이는 핵심 영역에서 의미론적 안정성을 보장하면서 객체 경계를 따라 세부적인 세부 사항을 보존합니다. 견고한 훈련을 위해 우리는 비디오 매팅을 위한 더 크고 고품질, 다양한 데이터셋을 제시합니다. 게다가 대규모 분할 데이터를 효율적으로 활용하는 새로운 훈련 전략을 통합하여 매팅 안정성을 향상시킵니다. 이 새로운 네트워크 디자인, 데이터셋 및 훈련 전략으로 MatAnyone은 다양한 현실 세계 시나리오에서 견고하고 정확한 비디오 매팅 결과를 제공하여 기존 방법을 능가합니다.

English

Auxiliary-free human video matting methods, which rely solely on input frames, often struggle with complex or ambiguous backgrounds. To address this, we propose MatAnyone, a robust framework tailored for target-assigned video matting. Specifically, building on a memory-based paradigm, we introduce a consistent memory propagation module via region-adaptive memory fusion, which adaptively integrates memory from the previous frame. This ensures semantic stability in core regions while preserving fine-grained details along object boundaries. For robust training, we present a larger, high-quality, and diverse dataset for video matting. Additionally, we incorporate a novel training strategy that efficiently leverages large-scale segmentation data, boosting matting stability. With this new network design, dataset, and training strategy, MatAnyone delivers robust and accurate video matting results in diverse real-world scenarios, outperforming existing methods.