FilmAgent: 가상 3D 공간에서의 종단간 영화 자동화를 위한 다중 에이전트 프레임워크

FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces

January 22, 2025

저자: Zhenran Xu, Longyue Wang, Jifang Wang, Zhouyi Li, Senbao Shi, Xue Yang, Yiyu Wang, Baotian Hu, Jun Yu, Min Zhang

cs.AI

초록

가상 영화 제작은 대단히 복잡한 의사 결정 과정이 필요합니다. 대본 작성, 가상 촬영 기술, 정확한 배우 위치 및 행동을 포함합니다. 최근 언어 에이전트 기반 사회에서 자동 의사 결정 기술의 발전에 영감을 받아, 본 논문은 FilmAgent를 소개합니다. 이는 구축된 3D 가상 공간에서 영화 자동화를 위한 LLM 기반의 다중 에이전트 협업 프레임워크입니다. FilmAgent는 감독, 각본가, 배우, 촬영 감독 등 다양한 스텝을 시뮬레이션하며 영화 제작 워크플로우의 주요 단계를 다룹니다. 에이전트 팀은 반복적인 피드백과 수정을 통해 협업하며 중간 스크립트를 검증하고 환각을 줄입니다. 15가지 아이디어와 4가지 주요 측면에서 생성된 비디오를 평가합니다. 인간 평가 결과, FilmAgent는 모든 측면에서 모든 기준선을 능가하며 평균 5점 만점 중 3.98점을 얻어 영화 제작에서 다중 에이전트 협업의 실행 가능성을 보여줍니다. 추가 분석 결과, GPT-4o 모델을 사용하더라도 FilmAgent는 단일 에이전트 o1을 능가하여 잘 조정된 다중 에이전트 시스템의 장점을 보여줍니다. 마지막으로, 영화 제작에서 OpenAI의 텍스트-비디오 모델 Sora와 FilmAgent의 보완적인 강점과 약점에 대해 논의합니다.

English

Virtual film production requires intricate decision-making processes, including scriptwriting, virtual cinematography, and precise actor positioning and actions. Motivated by recent advances in automated decision-making with language agent-based societies, this paper introduces FilmAgent, a novel LLM-based multi-agent collaborative framework for end-to-end film automation in our constructed 3D virtual spaces. FilmAgent simulates various crew roles, including directors, screenwriters, actors, and cinematographers, and covers key stages of a film production workflow: (1) idea development transforms brainstormed ideas into structured story outlines; (2) scriptwriting elaborates on dialogue and character actions for each scene; (3) cinematography determines the camera setups for each shot. A team of agents collaborates through iterative feedback and revisions, thereby verifying intermediate scripts and reducing hallucinations. We evaluate the generated videos on 15 ideas and 4 key aspects. Human evaluation shows that FilmAgent outperforms all baselines across all aspects and scores 3.98 out of 5 on average, showing the feasibility of multi-agent collaboration in filmmaking. Further analysis reveals that FilmAgent, despite using the less advanced GPT-4o model, surpasses the single-agent o1, showing the advantage of a well-coordinated multi-agent system. Lastly, we discuss the complementary strengths and weaknesses of OpenAI's text-to-video model Sora and our FilmAgent in filmmaking.