Concat-ID: Auf dem Weg zur universellen identitätserhaltenden Videosynthese

Concat-ID: Towards Universal Identity-Preserving Video Synthesis

March 18, 2025

Autoren: Yong Zhong, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Chongxuan Li

cs.AI

Zusammenfassung

Wir präsentieren Concat-ID, ein einheitliches Framework für die identitätserhaltende Videogenerierung. Concat-ID nutzt Variational Autoencoders, um Bildmerkmale zu extrahieren, die entlang der Sequenzdimension mit Video-Latents verkettet werden, wobei ausschließlich 3D-Selbstaufmerksamkeitsmechanismen ohne zusätzliche Module eingesetzt werden. Eine neuartige Cross-Video-Pairing-Strategie und ein mehrstufiges Trainingsregime werden eingeführt, um die Identitätskonsistenz und die Gesichtseditierbarkeit auszugleichen und gleichzeitig die Natürlichkeit des Videos zu verbessern. Umfangreiche Experimente demonstrieren die Überlegenheit von Concat-ID gegenüber bestehenden Methoden sowohl bei der Einzel- als auch bei der Multi-Identitätsgenerierung sowie seine nahtlose Skalierbarkeit auf Multi-Subjekt-Szenarien, einschließlich virtuellem Anprobieren und hintergrundkontrollierter Generierung. Concat-ID setzt einen neuen Maßstab für die identitätserhaltende Videosynthese und bietet eine vielseitige und skalierbare Lösung für eine breite Palette von Anwendungen.

English

We present Concat-ID, a unified framework for identity-preserving video generation. Concat-ID employs Variational Autoencoders to extract image features, which are concatenated with video latents along the sequence dimension, leveraging solely 3D self-attention mechanisms without the need for additional modules. A novel cross-video pairing strategy and a multi-stage training regimen are introduced to balance identity consistency and facial editability while enhancing video naturalness. Extensive experiments demonstrate Concat-ID's superiority over existing methods in both single and multi-identity generation, as well as its seamless scalability to multi-subject scenarios, including virtual try-on and background-controllable generation. Concat-ID establishes a new benchmark for identity-preserving video synthesis, providing a versatile and scalable solution for a wide range of applications.