PaSa: Ein LLM-Agent für umfassende Suche nach wissenschaftlichen Artikeln

PaSa: An LLM Agent for Comprehensive Academic Paper Search

January 17, 2025

Autoren: Yichen He, Guanhua Huang, Peiyuan Feng, Yuan Lin, Yuchen Zhang, Hang Li, Weinan E

cs.AI

Zusammenfassung

Wir stellen PaSa vor, einen fortschrittlichen Papier-Suchagenten, der von großen Sprachmodellen betrieben wird. PaSa kann eigenständig eine Reihe von Entscheidungen treffen, darunter das Aufrufen von Suchwerkzeugen, das Lesen von Papieren und die Auswahl relevanter Referenzen, um letztendlich umfassende und genaue Ergebnisse für komplexe wissenschaftliche Anfragen zu erhalten. Wir optimieren PaSa mithilfe von Verstärkendem Lernen mit einem synthetischen Datensatz, AutoScholarQuery, der 35.000 fein granulare wissenschaftliche Anfragen und entsprechende Papiere aus erstklassigen KI-Konferenzveröffentlichungen enthält. Darüber hinaus entwickeln wir RealScholarQuery, einen Benchmark, der reale wissenschaftliche Anfragen sammelt, um die Leistung von PaSa in realistischeren Szenarien zu bewerten. Trotz des Trainings mit synthetischen Daten übertrifft PaSa signifikant bestehende Baselines in RealScholarQuery, einschließlich Google, Google Scholar, Google mit GPT-4 für paraphrasierte Anfragen, chatGPT (suchfähiges GPT-4o), GPT-o1 und PaSa-GPT-4o (PaSa implementiert durch Aufforderung von GPT-4o). Bemerkenswerterweise übertrifft PaSa-7B die beste Google-basierte Baseline, Google mit GPT-4o, um 37,78% bei recall@20 und 39,90% bei recall@50. Es übertrifft auch PaSa-GPT-4o um 30,36% bei Recall und 4,25% bei Präzision. Das Modell, die Datensätze und der Code sind verfügbar unter https://github.com/bytedance/pasa.

English

We introduce PaSa, an advanced Paper Search agent powered by large language models. PaSa can autonomously make a series of decisions, including invoking search tools, reading papers, and selecting relevant references, to ultimately obtain comprehensive and accurate results for complex scholarly queries. We optimize PaSa using reinforcement learning with a synthetic dataset, AutoScholarQuery, which includes 35k fine-grained academic queries and corresponding papers sourced from top-tier AI conference publications. Additionally, we develop RealScholarQuery, a benchmark collecting real-world academic queries to assess PaSa performance in more realistic scenarios. Despite being trained on synthetic data, PaSa significantly outperforms existing baselines on RealScholarQuery, including Google, Google Scholar, Google with GPT-4 for paraphrased queries, chatGPT (search-enabled GPT-4o), GPT-o1, and PaSa-GPT-4o (PaSa implemented by prompting GPT-4o). Notably, PaSa-7B surpasses the best Google-based baseline, Google with GPT-4o, by 37.78% in recall@20 and 39.90% in recall@50. It also exceeds PaSa-GPT-4o by 30.36% in recall and 4.25% in precision. Model, datasets, and code are available at https://github.com/bytedance/pasa.