PaSa: 포괄적인 학술 논문 검색을 위한 LLM 에이전트

PaSa: An LLM Agent for Comprehensive Academic Paper Search

January 17, 2025

저자: Yichen He, Guanhua Huang, Peiyuan Feng, Yuan Lin, Yuchen Zhang, Hang Li, Weinan E

cs.AI

초록

대규모 언어 모델을 기반으로 한 고급 Paper Search 에이전트인 PaSa를 소개합니다. PaSa는 검색 도구를 활용하고 논문을 읽고 관련 참고 자료를 선택하는 등 일련의 결정을 자율적으로 내릴 수 있어 복잡한 학술적 질의에 대해 종합적이고 정확한 결과를 얻을 수 있습니다. 우리는 35,000개의 세부적인 학술적 질의와 주요 AI 학회 출판물에서 수집한 해당 논문들을 포함한 합성 데이터셋 AutoScholarQuery를 활용하여 PaSa를 최적화합니다. 게다가 PaSa의 성능을 더 현실적인 시나리오에서 평가하기 위해 실제 학술적 질의를 수집한 벤치마크인 RealScholarQuery를 개발합니다. 합성 데이터를 기반으로 훈련되었음에도 불구하고, PaSa는 Google, Google Scholar, Google with GPT-4(변형된 질의에 대한 GPT-4 포함), chatGPT(검색 기능이 추가된 GPT-4o), GPT-o1 및 PaSa-GPT-4o(프롬프트로 구현된 GPT-4o에 의한 PaSa)를 포함한 기존의 베이스라인을 RealScholarQuery에서 현저하게 능가합니다. 특히, PaSa-7B는 recall@20에서 최고의 Google 기반 베이스라인인 Google with GPT-4o를 37.78%의 차이로, 그리고 recall@50에서 39.90%의 차이로 능가합니다. 또한 recall에서 PaSa-GPT-4o를 30.36%, 정밀도에서 4.25% 초과합니다. 모델, 데이터셋 및 코드는 https://github.com/bytedance/pasa에서 확인할 수 있습니다.

English

We introduce PaSa, an advanced Paper Search agent powered by large language models. PaSa can autonomously make a series of decisions, including invoking search tools, reading papers, and selecting relevant references, to ultimately obtain comprehensive and accurate results for complex scholarly queries. We optimize PaSa using reinforcement learning with a synthetic dataset, AutoScholarQuery, which includes 35k fine-grained academic queries and corresponding papers sourced from top-tier AI conference publications. Additionally, we develop RealScholarQuery, a benchmark collecting real-world academic queries to assess PaSa performance in more realistic scenarios. Despite being trained on synthetic data, PaSa significantly outperforms existing baselines on RealScholarQuery, including Google, Google Scholar, Google with GPT-4 for paraphrased queries, chatGPT (search-enabled GPT-4o), GPT-o1, and PaSa-GPT-4o (PaSa implemented by prompting GPT-4o). Notably, PaSa-7B surpasses the best Google-based baseline, Google with GPT-4o, by 37.78% in recall@20 and 39.90% in recall@50. It also exceeds PaSa-GPT-4o by 30.36% in recall and 4.25% in precision. Model, datasets, and code are available at https://github.com/bytedance/pasa.