PlotGen: 다중 에이전트 기반 과학 데이터 시각화를 위한 LLM을 활용한 시각화 via 다중 모달 피드백

PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback

February 3, 2025

저자: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

초록

과학적 데이터 시각화는 원시 데이터를 이해할 수 있는 시각적 표현으로 변환하는 데 중요하며, 패턴 인식, 예측 및 데이터 기반 통찰력 제시를 가능하게 합니다. 그러나 초보 사용자들은 적절한 도구 선택의 복잡성과 시각화 기술 습득의 어려움으로 인해 종종 어려움을 겪습니다. 대형 언어 모델(Large Language Models, LLMs)은 최근 코드 생성을 지원하는 데 잠재력을 보여주었지만, 정확성에 어려움을 겪고 반복적 디버깅이 필요합니다. 본 논문에서는 정확한 과학적 시각화 생성을 자동화하기 위한 혁신적인 다중 에이전트 프레임워크인 PlotGen을 제안합니다. PlotGen은 복수의 LLM 기반 에이전트를 조율하는데, 이에는 복잡한 사용자 요청을 실행 가능한 단계로 분해하는 쿼리 계획 에이전트, 의사 코드를 실행 가능한 Python 코드로 변환하는 코드 생성 에이전트, 그리고 데이터 정확성, 텍스트 레이블 및 시각적 정확성을 자가 반성을 통해 생성된 플롯의 다중 모달 LLM을 활용하여 반복적으로 개선하는 숫자 피드백 에이전트, 어휘 피드백 에이전트, 시각적 피드백 에이전트가 포함됩니다. 광범위한 실험 결과, PlotGen이 강력한 기준선을 능가하며 MatPlotBench 데이터셋에서 4-6%의 성능 향상을 달성하여 LLM이 생성한 시각화에 대한 사용자 신뢰를 향상시키고, 플롯 오류에 대한 디버깅 시간을 줄여 초보자의 생산성을 향상시킵니다.

English

Scientific data visualization is pivotal for transforming raw data into comprehensible visual representations, enabling pattern recognition, forecasting, and the presentation of data-driven insights. However, novice users often face difficulties due to the complexity of selecting appropriate tools and mastering visualization techniques. Large Language Models (LLMs) have recently demonstrated potential in assisting code generation, though they struggle with accuracy and require iterative debugging. In this paper, we propose PlotGen, a novel multi-agent framework aimed at automating the creation of precise scientific visualizations. PlotGen orchestrates multiple LLM-based agents, including a Query Planning Agent that breaks down complex user requests into executable steps, a Code Generation Agent that converts pseudocode into executable Python code, and three retrieval feedback agents - a Numeric Feedback Agent, a Lexical Feedback Agent, and a Visual Feedback Agent - that leverage multimodal LLMs to iteratively refine the data accuracy, textual labels, and visual correctness of generated plots via self-reflection. Extensive experiments show that PlotGen outperforms strong baselines, achieving a 4-6 percent improvement on the MatPlotBench dataset, leading to enhanced user trust in LLM-generated visualizations and improved novice productivity due to a reduction in debugging time needed for plot errors.