Automatisierte Filmgenerierung durch Multi-Agenten-CoT-Planung

Automated Movie Generation via Multi-Agent CoT Planning

March 10, 2025

Autoren: Weijia Wu, Zeyu Zhu, Mike Zheng Shou

cs.AI

Zusammenfassung

Bestehende Frameworks für die Erstellung langer Videos mangeln an automatischer Planung und erfordern manuelle Eingaben für Handlungsstränge, Szenen, Kameraführung und Charakterinteraktionen, was zu hohen Kosten und Ineffizienzen führt. Um diese Herausforderungen zu bewältigen, präsentieren wir MovieAgent, eine automatisierte Filmgenerierung durch Multi-Agenten-Ketten von Gedanken (Chain of Thought, CoT). MovieAgent bietet zwei wesentliche Vorteile: 1) Wir erforschen und definieren erstmals das Paradigma der automatisierten Film- bzw. Langvideoerstellung. Basierend auf einem Drehbuch und einer Charakterdatenbank kann MovieAgent mehrszenige, mehrschüssige Langformvideos mit einer kohärenten Erzählung erzeugen, wobei Charakterkonsistenz, synchronisierte Untertitel und stabiler Ton im gesamten Film gewährleistet werden. 2) MovieAgent führt einen hierarchischen, CoT-basierten Denkprozess ein, um Szenen, Kameraeinstellungen und Kameraführung automatisch zu strukturieren, wodurch der menschliche Aufwand erheblich reduziert wird. Durch den Einsatz mehrerer LLM-Agenten, die die Rollen eines Regisseurs, Drehbuchautors, Storyboard-Künstlers und Location Managers simulieren, optimiert MovieAgent die Produktionspipeline. Experimente zeigen, dass MovieAgent neue Spitzenergebnisse in Bezug auf Drehbuchtreue, Charakterkonsistenz und narrative Kohärenz erzielt. Unser hierarchisches Framework macht einen Schritt nach vorn und bietet neue Einblicke in die vollständig automatisierte Filmerstellung. Der Code und die Projektwebsite sind verfügbar unter: https://github.com/showlab/MovieAgent und https://weijiawu.github.io/MovieAgent.

English

Existing long-form video generation frameworks lack automated planning, requiring manual input for storylines, scenes, cinematography, and character interactions, resulting in high costs and inefficiencies. To address these challenges, we present MovieAgent, an automated movie generation via multi-agent Chain of Thought (CoT) planning. MovieAgent offers two key advantages: 1) We firstly explore and define the paradigm of automated movie/long-video generation. Given a script and character bank, our MovieAgent can generates multi-scene, multi-shot long-form videos with a coherent narrative, while ensuring character consistency, synchronized subtitles, and stable audio throughout the film. 2) MovieAgent introduces a hierarchical CoT-based reasoning process to automatically structure scenes, camera settings, and cinematography, significantly reducing human effort. By employing multiple LLM agents to simulate the roles of a director, screenwriter, storyboard artist, and location manager, MovieAgent streamlines the production pipeline. Experiments demonstrate that MovieAgent achieves new state-of-the-art results in script faithfulness, character consistency, and narrative coherence. Our hierarchical framework takes a step forward and provides new insights into fully automated movie generation. The code and project website are available at: https://github.com/showlab/MovieAgent and https://weijiawu.github.io/MovieAgent.