회의 대리자: LLMs의 회의 참석 역량 평가를 위한 벤치마킹

MEETING DELEGATE: Benchmarking LLMs on Attending Meetings on Our Behalf

February 5, 2025

저자: Lingxiang Hu, Shurun Yuan, Xiaoting Qin, Jue Zhang, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

초록

현대 직장에서는 회의가 아이디어 교환과 팀 정렬을 보장하기 위해 중요하지만 종종 시간 소비, 일정 충돌 및 비효율적인 참여와 같은 도전에 직면합니다. 최근 대형 언어 모델(LLMs)의 발전은 자연어 생성 및 추론에서 강력한 능력을 보여주어 LLMs가 회의 참가자를 효과적으로 위임할 수 있는지에 대한 의문을 불러일으켰습니다. 이를 탐구하기 위해 우리는 프로토타입 LLM 기반 회의 대리 시스템을 개발하고 실제 회의 대본을 사용하여 포괄적인 벤치마크를 작성합니다. 우리의 평가 결과, GPT-4/4o는 적극적이고 신중한 참여 전략 간의 균형 잡힌 성능을 유지합니다. 반면, Gemini 1.5 Pro는 보다 신중한 경향을 보이며, Gemini 1.5 Flash와 Llama3-8B/70B는 더 적극적인 성향을 나타냅니다. 전반적으로, 응답의 약 60%가 적어도 한 가지 핵심 포인트를 다룹니다. 그러나 실제 세팅에서 흔히 발견되는 필기 오류를 줄이고 불필요하거나 반복적인 콘텐츠를 개선하고 허용성을 향상시키기 위한 개선이 필요합니다. 추가로, 우리는 시스템을 실제 환경에서 구현하고 데모로부터 실제 피드백을 수집합니다. 우리의 연구 결과는 회의 부담을 덜어주는 실용적인 응용을 위한 LLMs 활용의 잠재력과 도전을 강조하며, 소중한 통찰을 제공합니다.

English

In contemporary workplaces, meetings are essential for exchanging ideas and ensuring team alignment but often face challenges such as time consumption, scheduling conflicts, and inefficient participation. Recent advancements in Large Language Models (LLMs) have demonstrated their strong capabilities in natural language generation and reasoning, prompting the question: can LLMs effectively delegate participants in meetings? To explore this, we develop a prototype LLM-powered meeting delegate system and create a comprehensive benchmark using real meeting transcripts. Our evaluation reveals that GPT-4/4o maintain balanced performance between active and cautious engagement strategies. In contrast, Gemini 1.5 Pro tends to be more cautious, while Gemini 1.5 Flash and Llama3-8B/70B display more active tendencies. Overall, about 60\% of responses address at least one key point from the ground-truth. However, improvements are needed to reduce irrelevant or repetitive content and enhance tolerance for transcription errors commonly found in real-world settings. Additionally, we implement the system in practical settings and collect real-world feedback from demos. Our findings underscore the potential and challenges of utilizing LLMs as meeting delegates, offering valuable insights into their practical application for alleviating the burden of meetings.