PDE-Controller: PDE의 자동 형식화와 추론을 위한 LLMs

PDE-Controller: LLMs for Autoformalization and Reasoning of PDEs

February 3, 2025

저자: Mauricio Soroco, Jialin Song, Mengzhou Xia, Kye Emond, Weiran Sun, Wuyang Chen

cs.AI

초록

최근 AI-for-math는 순수 수학 분야에서 큰 발전을 이루었지만, 응용 수학 분야 중 특히 PDE(편미분방정식)는 그 실제 세계 응용에도 불구하고 미개척된 상태입니다. 본 연구에서는 PDE-Controller라는 프레임워크를 제시합니다. 이 프레임워크는 대규모 언어 모델(LLMs)이 편미분방정식(PDEs)에 의해 통제되는 시스템을 제어할 수 있도록 합니다. 저희의 접근 방식은 LLMs가 비공식적인 자연어 지시를 형식적 명세로 변환하고, 추론 및 계획 단계를 실행하여 PDE 제어의 유틸리티를 향상시킬 수 있게 합니다. 우리는 인간이 작성한 사례와 2백만 개의 합성 샘플 데이터셋, 수학 추론 모델, 그리고 혁신적인 평가 지표로 이루어진 종합적인 솔루션을 구축했으며, 이 모든 것은 상당한 노력이 필요합니다. 저희의 PDE-Controller는 최신 오픈 소스 및 GPT 모델을 유도하는 것보다 추론, 자동 형식화, 프로그램 합성에서 현저한 성과를 거두었으며, PDE 제어의 유틸리티 향상에서 최대 62%의 성능 향상을 달성했습니다. 언어 생성과 PDE 시스템 간의 간극을 메움으로써, 우리는 LLMs가 복잡한 과학 및 공학적 도전 과제에 대응하는 잠재력을 입증합니다. 모든 데이터, 모델 체크포인트 및 코드는 https://pde-controller.github.io/에서 공개할 예정입니다.

English

While recent AI-for-math has made strides in pure mathematics, areas of applied mathematics, particularly PDEs, remain underexplored despite their significant real-world applications. We present PDE-Controller, a framework that enables large language models (LLMs) to control systems governed by partial differential equations (PDEs). Our approach enables LLMs to transform informal natural language instructions into formal specifications, and then execute reasoning and planning steps to improve the utility of PDE control. We build a holistic solution comprising datasets (both human-written cases and 2 million synthetic samples), math-reasoning models, and novel evaluation metrics, all of which require significant effort. Our PDE-Controller significantly outperforms prompting the latest open-source and GPT models in reasoning, autoformalization, and program synthesis, achieving up to a 62% improvement in utility gain for PDE control. By bridging the gap between language generation and PDE systems, we demonstrate the potential of LLMs in addressing complex scientific and engineering challenges. We will release all data, model checkpoints, and code at https://pde-controller.github.io/.