Semantic Tokens in Retrieval Augmented Generation

要約

RAG（Retrieval-Augmented Generation）アーキテクチャは、自然言語処理タスクにおける真実の根拠と一貫性を向上させる能力として、近年大きな注目を集めている。しかし、RAGシステムは、アクセスするデータ量が増えるにつれて、正確な回答を生成する信頼性が低下する。より小さなデータセットであっても、これらのシステムは単純なクエリに対処できないことがある。この問題は、システムの出力に不確実性をもたらす可能性のある、最先端の大規模言語モデル（LLM）に依存していることに起因する。この研究では、確率的RAGシステムと決定論的に検証可能な応答との間のギャップを埋めるために、評価者モジュールを導入した新しい比較RAGシステムを提案する。評価者は外部からの推奨と検索された文書チャンクを比較し、システムの信頼性を高める意思決定層を追加する。このアプローチは、検索されたチャンクが意味的に関連性があり、決定論的な洞察と論理的に一貫していることを保証し、それによってRAGシステムの精度と全体的な効率を向上させる。このフレームワークは、高い精度と検証可能性を必要とする領域において、より信頼性が高くスケーラブルな質問応答アプリケーションへの道を開く。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) architectures have recently garnered significant attention for their ability to improve truth grounding and coherence in natural language processing tasks. However, the reliability of RAG systems in producing accurate answers diminishes as the volume of data they access increases. Even with smaller datasets, these systems occasionally fail to address simple queries. This issue arises from their dependence on state-of-the-art large language models (LLMs), which can introduce uncertainty into the system’s outputs. In this work, I propose a novel Comparative RAG system that introduces an evaluator module to bridge the gap between probabilistic RAG systems and deterministically verifiable responses. The evaluator compares external recommendations with the retrieved document chunks, adding a decision-making layer that enhances the system’s reliability. This approach ensures that the chunks retrieved are both semantically relevant and logically consistent with deterministic insights, thereby improving the accuracy and overall efficiency of RAG systems. This framework paves the way for more reliable and scalable question-answering applications in domains requiring high precision and verifiability.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL