Selbst kleine Reasoning-Systeme sollten ihre Quellen zitieren: Vorstellung der Pleias-RAG-Modellfamilie

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

April 25, 2025

Autoren: Pierre-Carl Langlais, Pavel Chizhov, Mattia Nee, Carlos Rosas Hinostroza, Matthieu Delsart, Irène Girard, Othman Hicheur, Anastasia Stasenko, Ivan P. Yamshchikov

cs.AI

Zusammenfassung

Wir stellen eine neue Generation kleiner Reasoning-Modelle für RAG, Suche und Quellenzusammenfassung vor. Pleias-RAG-350m und Pleias-RAG-1B wurden mitteltrainiert auf einem großen synthetischen Datensatz, der das Retrieval einer Vielzahl mehrsprachiger Open-Source-Daten aus dem Common Corpus nachahmt. Sie bieten native Unterstützung für Zitation und Verankerung mit wörtlichen Zitaten und integrieren mehrere Funktionen, die mit RAG-Workflows verbunden sind, wie z. B. Query-Routing, Query-Reformulierung und Quellen-Neubewertung. Pleias-RAG-350m und Pleias-RAG-1B übertreffen SLMs mit weniger als 4 Milliarden Parametern in standardisierten RAG-Benchmarks (HotPotQA, 2wiki) und sind wettbewerbsfähig mit beliebten größeren Modellen, darunter Qwen-2.5-7B, Llama-3.1-8B und Gemma-3-4B. Sie sind die bisher einzigen SLMs, die eine konsistente RAG-Leistung über führende europäische Sprachen hinweg aufrechterhalten und eine systematische Referenzverankerung für Aussagen sicherstellen. Aufgrund ihrer Größe, der einfachen Bereitstellung auf eingeschränkter Infrastruktur und der höheren Faktizität durch Design erschließen die Modelle eine Reihe neuer Anwendungsfälle für generative KI.

English

We introduce a new generation of small reasoning models for RAG, search, and source summarization. Pleias-RAG-350m and Pleias-RAG-1B are mid-trained on a large synthetic dataset emulating the retrieval of a wide variety of multilingual open sources from the Common Corpus. They provide native support for citation and grounding with literal quotes and reintegrate multiple features associated with RAG workflows, such as query routing, query reformulation, and source reranking. Pleias-RAG-350m and Pleias-RAG-1B outperform SLMs below 4 billion parameters on standardized RAG benchmarks (HotPotQA, 2wiki) and are competitive with popular larger models, including Qwen-2.5-7B, Llama-3.1-8B, and Gemma-3-4B. They are the only SLMs to date maintaining consistent RAG performance across leading European languages and ensuring systematic reference grounding for statements. Due to their size and ease of deployment on constrained infrastructure and higher factuality by design, the models unlock a range of new use cases for generative AI.