Même les petits raisonneurs devraient citer leurs sources : Présentation de la famille de modèles Pleias-RAG

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

April 25, 2025

Auteurs: Pierre-Carl Langlais, Pavel Chizhov, Mattia Nee, Carlos Rosas Hinostroza, Matthieu Delsart, Irène Girard, Othman Hicheur, Anastasia Stasenko, Ivan P. Yamshchikov

cs.AI

Résumé

Nous présentons une nouvelle génération de modèles de raisonnement de petite taille pour le RAG, la recherche et la synthèse de sources. Pleias-RAG-350m et Pleias-RAG-1B sont pré-entraînés sur un vaste ensemble de données synthétiques simulant la récupération d'une grande variété de sources ouvertes multilingues issues du Common Corpus. Ils offrent un support natif pour les citations et l'ancrage avec des citations littérales, tout en réintégrant de multiples fonctionnalités associées aux workflows RAG, telles que le routage des requêtes, la reformulation des requêtes et le réordonnancement des sources. Pleias-RAG-350m et Pleias-RAG-1B surpassent les SLM (Small Language Models) de moins de 4 milliards de paramètres sur les benchmarks RAG standardisés (HotPotQA, 2wiki) et sont compétitifs avec des modèles plus grands et populaires, notamment Qwen-2.5-7B, Llama-3.1-8B et Gemma-3-4B. À ce jour, ce sont les seuls SLM à maintenir des performances RAG cohérentes à travers les principales langues européennes et à garantir un ancrage systématique des références pour les affirmations. Grâce à leur taille réduite, leur facilité de déploiement sur des infrastructures contraintes et leur factualité accrue par conception, ces modèles ouvrent la voie à de nouveaux cas d'utilisation pour l'IA générative.

English

We introduce a new generation of small reasoning models for RAG, search, and source summarization. Pleias-RAG-350m and Pleias-RAG-1B are mid-trained on a large synthetic dataset emulating the retrieval of a wide variety of multilingual open sources from the Common Corpus. They provide native support for citation and grounding with literal quotes and reintegrate multiple features associated with RAG workflows, such as query routing, query reformulation, and source reranking. Pleias-RAG-350m and Pleias-RAG-1B outperform SLMs below 4 billion parameters on standardized RAG benchmarks (HotPotQA, 2wiki) and are competitive with popular larger models, including Qwen-2.5-7B, Llama-3.1-8B, and Gemma-3-4B. They are the only SLMs to date maintaining consistent RAG performance across leading European languages and ensuring systematic reference grounding for statements. Due to their size and ease of deployment on constrained infrastructure and higher factuality by design, the models unlock a range of new use cases for generative AI.