Zelfs kleine redeneerders moeten hun bronnen citeren: Introductie van de Pleias-RAG-model familie

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

April 25, 2025

Auteurs: Pierre-Carl Langlais, Pavel Chizhov, Mattia Nee, Carlos Rosas Hinostroza, Matthieu Delsart, Irène Girard, Othman Hicheur, Anastasia Stasenko, Ivan P. Yamshchikov

cs.AI

Samenvatting

We introduceren een nieuwe generatie van kleine redeneermodellen voor RAG, zoeken en bronnensamenvatting. Pleias-RAG-350m en Pleias-RAG-1B zijn getraind op een grote synthetische dataset die het ophalen van een breed scala aan meertalige open bronnen uit het Common Corpus nabootst. Ze bieden native ondersteuning voor citaten en verankering met letterlijke citaten en integreren meerdere functies die geassocieerd worden met RAG-workflows, zoals query routing, queryherformulering en bronherrangschikking. Pleias-RAG-350m en Pleias-RAG-1B presteren beter dan SLM's met minder dan 4 miljard parameters op gestandaardiseerde RAG-benchmarks (HotPotQA, 2wiki) en zijn concurrerend met populaire grotere modellen, waaronder Qwen-2.5-7B, Llama-3.1-8B en Gemma-3-4B. Het zijn tot nu toe de enige SLM's die consistente RAG-prestaties behouden over de belangrijkste Europese talen en systematische referentieverankering voor uitspraken garanderen. Door hun omvang en gemakkelijke implementatie op beperkte infrastructuur en hogere feitelijkheid door ontwerp, ontsluiten de modellen een reeks nieuwe use cases voor generatieve AI.

English

We introduce a new generation of small reasoning models for RAG, search, and source summarization. Pleias-RAG-350m and Pleias-RAG-1B are mid-trained on a large synthetic dataset emulating the retrieval of a wide variety of multilingual open sources from the Common Corpus. They provide native support for citation and grounding with literal quotes and reintegrate multiple features associated with RAG workflows, such as query routing, query reformulation, and source reranking. Pleias-RAG-350m and Pleias-RAG-1B outperform SLMs below 4 billion parameters on standardized RAG benchmarks (HotPotQA, 2wiki) and are competitive with popular larger models, including Qwen-2.5-7B, Llama-3.1-8B, and Gemma-3-4B. They are the only SLMs to date maintaining consistent RAG performance across leading European languages and ensuring systematic reference grounding for statements. Due to their size and ease of deployment on constrained infrastructure and higher factuality by design, the models unlock a range of new use cases for generative AI.