FilmAgent: Een Multi-Agent Framework voor End-to-End Filmautomatisering in Virtuele 3D Ruimtes

FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces

January 22, 2025

Auteurs: Zhenran Xu, Longyue Wang, Jifang Wang, Zhouyi Li, Senbao Shi, Xue Yang, Yiyu Wang, Baotian Hu, Jun Yu, Min Zhang

cs.AI

Samenvatting

Virtuele filmproductie vereist ingewikkelde besluitvormingsprocessen, waaronder scenario schrijven, virtuele cinematografie en nauwkeurige positionering en acties van acteurs. Geïnspireerd door recente ontwikkelingen in geautomatiseerde besluitvorming met op taalagenten gebaseerde samenlevingen, introduceert dit artikel FilmAgent, een nieuw LLM-gebaseerd multi-agent samenwerkingskader voor end-to-end filmautomatisering in onze geconstrueerde 3D virtuele ruimtes. FilmAgent simuleert verschillende crewrollen, waaronder regisseurs, scenarioschrijvers, acteurs en cinematografen, en bestrijkt belangrijke fasen van een filmproductieworkflow: (1) idee-ontwikkeling transformeert brainstormideeën in gestructureerde verhaallijnen; (2) scenario schrijven werkt dialogen en karakteracties voor elke scène uit; (3) cinematografie bepaalt de camerasetups voor elke opname. Een team van agenten werkt samen via iteratieve feedback en revisies, waarbij tussenliggende scripts worden geverifieerd en hallucinaties worden verminderd. We evalueren de gegenereerde video's op 15 ideeën en 4 belangrijke aspecten. Menselijke evaluatie toont aan dat FilmAgent alle baselines overtreft op alle aspecten en gemiddeld een score van 3.98 van de 5 behaalt, wat de haalbaarheid van multi-agent samenwerking in filmmaken aantoont. Verder onderzoek onthult dat FilmAgent, ondanks het gebruik van het minder geavanceerde GPT-4o-model, de single-agent o1 overtreft, wat het voordeel van een goed gecoördineerd multi-agent systeem aantoont. Ten slotte bespreken we de complementaire sterke en zwakke punten van OpenAI's tekst-naar-video model Sora en onze FilmAgent in filmmaken.

English

Virtual film production requires intricate decision-making processes, including scriptwriting, virtual cinematography, and precise actor positioning and actions. Motivated by recent advances in automated decision-making with language agent-based societies, this paper introduces FilmAgent, a novel LLM-based multi-agent collaborative framework for end-to-end film automation in our constructed 3D virtual spaces. FilmAgent simulates various crew roles, including directors, screenwriters, actors, and cinematographers, and covers key stages of a film production workflow: (1) idea development transforms brainstormed ideas into structured story outlines; (2) scriptwriting elaborates on dialogue and character actions for each scene; (3) cinematography determines the camera setups for each shot. A team of agents collaborates through iterative feedback and revisions, thereby verifying intermediate scripts and reducing hallucinations. We evaluate the generated videos on 15 ideas and 4 key aspects. Human evaluation shows that FilmAgent outperforms all baselines across all aspects and scores 3.98 out of 5 on average, showing the feasibility of multi-agent collaboration in filmmaking. Further analysis reveals that FilmAgent, despite using the less advanced GPT-4o model, surpasses the single-agent o1, showing the advantage of a well-coordinated multi-agent system. Lastly, we discuss the complementary strengths and weaknesses of OpenAI's text-to-video model Sora and our FilmAgent in filmmaking.