Towards Trustworthy Knowledge Graph Reasoning: An Uncertainty Aware Perspective

要約

最近、ナレッジ グラフ (KG) は、KG ベースの検索拡張フレームワークなどで、幻覚を緩和し、推論能力を強化するために大規模言語モデル (LLM) とうまく結合されています。
ただし、現在の KG-LLM フレームワークには厳密な不確実性の推定が欠けており、一か八かのアプリケーションでの信頼性の高い導入が制限されています。
KG-LLM フレームワークに不確実性の定量化を直接組み込むと、その複雑なアーキテクチャとナレッジ グラフと言語モデル コンポーネント間の複雑な相互作用により課題が生じます。
このギャップに対処するために、我々は、KG-LLM フレームワークに不確実性の定量化を組み込んだ、信頼できる新しい KG-LLM フレームワークである Uncertainty Aware Knowledge-Graph Reasoning (UAG) を提案します。
私たちは、等角予測を活用して予測セットに理論的な保証を提供する、不確実性を認識した複数ステップの推論フレームワークを設計します。
マルチステッププロセスのエラー率を管理するために、個々のコンポーネント内のエラー率を調整するエラー率制御モジュールをさらに導入します。
広範な実験により、私たちが提案する UAG は、予測セット/間隔のサイズをベースラインより平均 40% 削減しながら、事前に定義された任意のカバレッジ レートを達成できることが示されています。

要約(オリジナル)

Recently, Knowledge Graphs (KGs) have been successfully coupled with Large Language Models (LLMs) to mitigate their hallucinations and enhance their reasoning capability, such as in KG-based retrieval-augmented frameworks. However, current KG-LLM frameworks lack rigorous uncertainty estimation, limiting their reliable deployment in high-stakes applications. Directly incorporating uncertainty quantification into KG-LLM frameworks presents challenges due to their complex architectures and the intricate interactions between the knowledge graph and language model components. To address this gap, we propose a new trustworthy KG-LLM framework, Uncertainty Aware Knowledge-Graph Reasoning (UAG), which incorporates uncertainty quantification into the KG-LLM framework. We design an uncertainty-aware multi-step reasoning framework that leverages conformal prediction to provide a theoretical guarantee on the prediction set. To manage the error rate of the multi-step process, we additionally introduce an error rate control module to adjust the error rate within the individual components. Extensive experiments show that our proposed UAG can achieve any pre-defined coverage rate while reducing the prediction set/interval size by 40% on average over the baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google