PIKE-RAG: sPecIalized KnowledgE and Rationale Augmented Generation

要約

外部検索を通じて大規模な言語モデル（LLM）機能を拡張する検索総生成（RAG）システムの顕著な進歩にもかかわらず、これらのシステムは、実世界の産業用アプリケーションの複雑で多様なニーズを満たすのに苦労しています。
検索だけでの依存は、専門のコーパスからの論理的推論で行われる深いドメイン固有の知識を抽出するには不十分であることがわかります。
これに対処するために、専門的な知識と根拠の増強生成（Pike-rag）を紹介し、専門知識の抽出、理解、および適用に焦点を当て、正確な応答に向けてLLMSを徐々に導くための一貫した根拠を構築します。
産業用タスクの多様な課題を認識して、知識の抽出とアプリケーションの複雑さに基づいてタスクを分類する新しいパラダイムを導入し、RAGシステムの問題解決機能の体系的な評価を可能にします。
この戦略的アプローチは、産業用途の進化する需要を満たすために調整された段階的な開発とRAGシステムの強化のためのロードマップを提供します。
さらに、データチャンクから多面的な知識を効果的に抽出し、それぞれ元のクエリと蓄積された知識に基づいて、さまざまなベンチマークにわたって並外れたパフォーマンスを示すために、知識と知識を意識したタスク分解を提案し、それぞれ元のクエリと蓄積された知識に基づいて理論的根拠を繰り返し構築します。

要約(オリジナル)

Despite notable advancements in Retrieval-Augmented Generation (RAG) systems that expand large language model (LLM) capabilities through external retrieval, these systems often struggle to meet the complex and diverse needs of real-world industrial applications. The reliance on retrieval alone proves insufficient for extracting deep, domain-specific knowledge performing in logical reasoning from specialized corpora. To address this, we introduce sPecIalized KnowledgE and Rationale Augmentation Generation (PIKE-RAG), focusing on extracting, understanding, and applying specialized knowledge, while constructing coherent rationale to incrementally steer LLMs toward accurate responses. Recognizing the diverse challenges of industrial tasks, we introduce a new paradigm that classifies tasks based on their complexity in knowledge extraction and application, allowing for a systematic evaluation of RAG systems’ problem-solving capabilities. This strategic approach offers a roadmap for the phased development and enhancement of RAG systems, tailored to meet the evolving demands of industrial applications. Furthermore, we propose knowledge atomizing and knowledge-aware task decomposition to effectively extract multifaceted knowledge from the data chunks and iteratively construct the rationale based on original query and the accumulated knowledge, respectively, showcasing exceptional performance across various benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google