Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

要約

RAG、検索、およびソースの要約のための新世代の小さな推論モデルを紹介します。
Pleias-Rag-350mおよびPleias-Rag-1Bは、一般的なコーパスから多種多様な多言語オープンソースの検索をエミュレートする大きな合成データセットで中間訓練されています。
それらは、引用と接地のネイティブサポートを文字通りの引用と根拠とし、クエリルーティング、クエリ再定式化、ソースの再ランキングなど、RAG​​ワークフローに関連する複数の機能を再統合します。
PLEIAS-RAG-350MおよびPLEIAS-RAG-1Bは、標準化されたRAGベンチマーク（HotPotqa、2Wiki）の40億パラメーターよりもSLMを上回り、Qwen-2.5-7B、Llama-3.1-8B、Gemma-3-4Bなどの一般的な大型モデルと競合しています。
これらは、これまでの唯一のSLMSであり、主要なヨーロッパの言語全体で一貫したRAGパフォーマンスを維持し、声明の体系的な参照の基礎を確保しています。
制約されたインフラストラクチャの展開の規模と展開の容易さと、設計によるより高い事実性により、モデルは生成AIのさまざまな新しいユースケースのロックを解除します。

要約(オリジナル)

We introduce a new generation of small reasoning models for RAG, search, and source summarization. Pleias-RAG-350m and Pleias-RAG-1B are mid-trained on a large synthetic dataset emulating the retrieval of a wide variety of multilingual open sources from the Common Corpus. They provide native support for citation and grounding with literal quotes and reintegrate multiple features associated with RAG workflows, such as query routing, query reformulation, and source reranking. Pleias-RAG-350m and Pleias-RAG-1B outperform SLMs below 4 billion parameters on standardized RAG benchmarks (HotPotQA, 2wiki) and are competitive with popular larger models, including Qwen-2.5-7B, Llama-3.1-8B, and Gemma-3-4B. They are the only SLMs to date maintaining consistent RAG performance across leading European languages and ensuring systematic reference grounding for statements. Due to their size and ease of deployment on constrained infrastructure and higher factuality by design, the models unlock a range of new use cases for generative AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google