FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering

要約

大規模な言語モデルは、特に複雑な推論タスクにおいて、誤った応答や「幻覚のような」応答を生成するという課題に直面することがよくあります。
これを軽減するために、構造化された検証可能な推論パスに応答を固定することでナレッジ グラフの質問応答を強化する検索拡張推論手法 FiDeLiS を提案します。
FiDeLiS は、KG のベクトルベースのインデックスから関連するエンティティと関係をフェッチするキーワード拡張検索メカニズムを使用して、高再現率の検索を保証します。
これらのエンティティと関係が取得されると、私たちの方法は候補推論パスを構築し、段階的なビーム検索を使用して洗練されます。
これにより、作成したすべてのパスが自信を持って KG にリンクされ、パスの正確さと信頼性が保証されます。
私たちのアプローチの際立った特徴は、推論パスの選択を最適化するために、自然言語計画とビーム検索を組み合わせていることです。
さらに、このプロセスを演繹的推論タスクに変換することで推論パスのスコア付け方法を再設計し、LLM が従来のロジットベースのスコアリングではなく演繹的推論を通じてパスの妥当性を評価できるようにします。
これにより、誤解を招く推論チェーンを回避し、不必要な計算要求を削減できます。
広範な実験により、私たちの方法は、計算コストが低く汎用性に優れたトレーニング不要の方法であっても、3 つのデータセットにわたって確立された強力なベースラインを上回るパフォーマンスを示します。

要約(オリジナル)

Large language models are often challenged by generating erroneous or `hallucinated’ responses, especially in complex reasoning tasks. To mitigate this, we propose a retrieval augmented reasoning method, FiDeLiS, which enhances knowledge graph question answering by anchoring responses to structured, verifiable reasoning paths. FiDeLiS uses a keyword-enhanced retrieval mechanism that fetches relevant entities and relations from a vector-based index of KGs to ensure high-recall retrieval. Once these entities and relations are retrieved, our method constructs candidate reasoning paths which are then refined using a stepwise beam search. This ensures that all the paths we create can be confidently linked back to KGs, ensuring they are accurate and reliable. A distinctive feature of our approach is its blend of natural language planning with beam search to optimize the selection of reasoning paths. Moreover, we redesign the way reasoning paths are scored by transforming this process into a deductive reasoning task, allowing the LLM to assess the validity of the paths through deductive reasoning rather than traditional logit-based scoring. This helps avoid misleading reasoning chains and reduces unnecessary computational demand. Extensive experiments demonstrate that our method, even as a training-free method which has lower computational costs and superior generality, outperforms established strong baselines across three datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google