KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation

要約

最近開発された検索拡張生成 (RAG) テクノロジーにより、ドメイン固有のアプリケーションを効率的に構築できるようになりました。
ただし、ベクトルの類似性と知識推論の関連性の間のギャップや、数値、時間的関係、専門家ルールなどの知識ロジックに対する鈍感さなど、専門知識サービスの有効性を妨げる制限もあります。
。
この研究では、Knowledge Augmented Generation (KAG) と呼ばれる専門分野の知識サービス フレームワークを導入します。
KAG は、ナレッジ グラフ (KG) とベクトル検索の利点を最大限に活用するという動機で前述の課題に対処し、5 つの主要な側面を通じて大規模言語モデル (LLM) と KG を双方向に強化することで生成と推論のパフォーマンスを向上させるように設計されています。
: (1) LLM に適した知識表現、(2) 知識グラフと元のチャンクの間の相互インデックス作成、(3) 論理形式にガイドされたハイブリッド推論エンジン、(4) 意味論的推論との知識の調整、および (5) モデル機能
KAG の機能強化。
マルチホップ質問応答において KAG を既存の RAG 手法と比較したところ、KAG が最新の手法を大幅に上回り、F1 スコアに関して 2wiki で 19.6%、hotpotQA で 33.5% の相対的な改善を達成したことがわかりました。
当社は、電子政府 Q&A と電子ヘルス Q&A を含む、アント グループの 2 つの専門知識 Q&A タスクに KAG を適用することに成功し、RAG 手法と比較して専門性の大幅な向上を達成しました。

要約(オリジナル)

The recently developed retrieval-augmented generation (RAG) technology has enabled the efficient construction of domain-specific applications. However, it also has limitations, including the gap between vector similarity and the relevance of knowledge reasoning, as well as insensitivity to knowledge logic, such as numerical values, temporal relations, expert rules, and others, which hinder the effectiveness of professional knowledge services. In this work, we introduce a professional domain knowledge service framework called Knowledge Augmented Generation (KAG). KAG is designed to address the aforementioned challenges with the motivation of making full use of the advantages of knowledge graph(KG) and vector retrieval, and to improve generation and reasoning performance by bidirectionally enhancing large language models (LLMs) and KGs through five key aspects: (1) LLM-friendly knowledge representation, (2) mutual-indexing between knowledge graphs and original chunks, (3) logical-form-guided hybrid reasoning engine, (4) knowledge alignment with semantic reasoning, and (5) model capability enhancement for KAG. We compared KAG with existing RAG methods in multihop question answering and found that it significantly outperforms state-of-theart methods, achieving a relative improvement of 19.6% on 2wiki and 33.5% on hotpotQA in terms of F1 score. We have successfully applied KAG to two professional knowledge Q&A tasks of Ant Group, including E-Government Q&A and E-Health Q&A, achieving significant improvement in professionalism compared to RAG methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google