FilmAgent: Ein Multi-Agenten-Framework für die End-to-End-Filmautomatisierung in virtuellen 3D-Räumen.

FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces

January 22, 2025

Autoren: Zhenran Xu, Longyue Wang, Jifang Wang, Zhouyi Li, Senbao Shi, Xue Yang, Yiyu Wang, Baotian Hu, Jun Yu, Min Zhang

cs.AI

Zusammenfassung

Die virtuelle Filmproduktion erfordert komplexe Entscheidungsprozesse, einschließlich Drehbuchschreiben, virtueller Kamerarbeit und präziser Positionierung und Handlungen der Schauspieler. Inspiriert von den jüngsten Fortschritten bei automatisierten Entscheidungsfindungen mit sprachbasierten Agentengesellschaften, stellt dieser Artikel FilmAgent vor, ein neuartiges LLM-basiertes Multi-Agenten-Kollaborationsframework für die vollständige Automatisierung von Filmen in unseren konstruierten 3D-Virtualräumen. FilmAgent simuliert verschiedene Crew-Rollen, darunter Regisseure, Drehbuchautoren, Schauspieler und Kameraleute, und umfasst Schlüsselphasen eines Filmproduktions-Workflows: (1) Die Ideenentwicklung verwandelt gesammelte Ideen in strukturierte Handlungsabläufe; (2) Das Drehbuch erweitert Dialoge und Charakterhandlungen für jede Szene; (3) Die Kamerakunst bestimmt die Kameraeinstellungen für jede Aufnahme. Ein Team von Agenten arbeitet durch iterative Rückmeldungen und Überarbeitungen zusammen, um Zwischenskripte zu überprüfen und Halluzinationen zu reduzieren. Wir bewerten die generierten Videos anhand von 15 Ideen und 4 Schlüsselaspekten. Die menschliche Bewertung zeigt, dass FilmAgent in allen Aspekten alle Baselines übertrifft und durchschnittlich 3,98 von 5 Punkten erreicht, was die Machbarkeit der Multi-Agenten-Kollaboration in der Filmproduktion zeigt. Eine weitere Analyse zeigt, dass FilmAgent trotz Verwendung des weniger fortschrittlichen GPT-4o-Modells den einzelnen Agenten o1 übertrifft und somit den Vorteil eines gut koordinierten Multi-Agenten-Systems zeigt. Abschließend diskutieren wir die ergänzenden Stärken und Schwächen von OpenAIs Text-zu-Video-Modell Sora und unserem FilmAgent in der Filmproduktion.

English

Virtual film production requires intricate decision-making processes, including scriptwriting, virtual cinematography, and precise actor positioning and actions. Motivated by recent advances in automated decision-making with language agent-based societies, this paper introduces FilmAgent, a novel LLM-based multi-agent collaborative framework for end-to-end film automation in our constructed 3D virtual spaces. FilmAgent simulates various crew roles, including directors, screenwriters, actors, and cinematographers, and covers key stages of a film production workflow: (1) idea development transforms brainstormed ideas into structured story outlines; (2) scriptwriting elaborates on dialogue and character actions for each scene; (3) cinematography determines the camera setups for each shot. A team of agents collaborates through iterative feedback and revisions, thereby verifying intermediate scripts and reducing hallucinations. We evaluate the generated videos on 15 ideas and 4 key aspects. Human evaluation shows that FilmAgent outperforms all baselines across all aspects and scores 3.98 out of 5 on average, showing the feasibility of multi-agent collaboration in filmmaking. Further analysis reveals that FilmAgent, despite using the less advanced GPT-4o model, surpasses the single-agent o1, showing the advantage of a well-coordinated multi-agent system. Lastly, we discuss the complementary strengths and weaknesses of OpenAI's text-to-video model Sora and our FilmAgent in filmmaking.