Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation

要約

大規模言語モデル (LLM) は優れた機能を示しますが、複雑な知識推論を課せられると幻覚や古い知識に悩まされ、結果として事実に誤りのある出力が生成されます。
これまでの研究では、大規模なナレッジ グラフ (KG) から事実の知識を取得して、LLM の論理的推論と答えの予測を支援することで、この問題を軽減しようと試みてきました。
ただし、この種のアプローチでは、特に複数の知識の側面から広範なコンテキストがある状況では、ノイズや無関係なデータが導入されることがよくあります。
このように、LLM の注意は質問や関連情報から誤解される可能性があります。
私たちの研究では、KG (Amar) フレームワークで拡張された適応型マルチアスペクト検索を導入します。
このメソッドは、エンティティ、リレーション、サブグラフなどの知識を取得し、取得したテキストの各部分をプロンプト埋め込みに変換します。
Amar フレームワークは 2 つの主要なサブコンポーネントで構成されます。1) エンティティ、関係、およびサブグラフ間の共通点を調整して、取得したテキストを強化し、それによってノイズ干渉を低減する自己調整モジュール。
2) ソフト ゲートを使用して質問と複数の側面から取得したデータの間の関連性スコアを学習し、どの情報を使用して LLM の出力を強化するか、または完全にフィルタリングするかを決定する関連性ゲーティング モジュール。
私たちの手法は、WebQSP と CWQ という 2 つの一般的なデータセットで最先端のパフォーマンスを達成し、最良の競合他社と比較して精度が 1.9\% 向上し、取得されたデータを直接使用する手法と比較して論理フォーム生成が 6.6\% 向上しました。
コンテキストプロンプトとしてのテキスト。
これらの結果は、LLM の推論の改善における Amar の有効性を示しています。

要約(オリジナル)

Large Language Models (LLMs) demonstrate remarkable capabilities, yet struggle with hallucination and outdated knowledge when tasked with complex knowledge reasoning, resulting in factually incorrect outputs. Previous studies have attempted to mitigate it by retrieving factual knowledge from large-scale knowledge graphs (KGs) to assist LLMs in logical reasoning and prediction of answers. However, this kind of approach often introduces noise and irrelevant data, especially in situations with extensive context from multiple knowledge aspects. In this way, LLM attention can be potentially mislead from question and relevant information. In our study, we introduce an Adaptive Multi-Aspect Retrieval-augmented over KGs (Amar) framework. This method retrieves knowledge including entities, relations, and subgraphs, and converts each piece of retrieved text into prompt embeddings. The Amar framework comprises two key sub-components: 1) a self-alignment module that aligns commonalities among entities, relations, and subgraphs to enhance retrieved text, thereby reducing noise interference; 2) a relevance gating module that employs a soft gate to learn the relevance score between question and multi-aspect retrieved data, to determine which information should be used to enhance LLMs’ output, or even filtered altogether. Our method has achieved state-of-the-art performance on two common datasets, WebQSP and CWQ, showing a 1.9\% improvement in accuracy over its best competitor and a 6.6\% improvement in logical form generation over a method that directly uses retrieved text as context prompts. These results demonstrate the effectiveness of Amar in improving the reasoning of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google