Graph Retrieval Augmented Trustworthiness Reasoning

要約

信頼性の推論は、情報が不完全なマルチプレイヤー ゲームでは非常に重要であり、エージェントが潜在的な同盟国と敵対者を特定できるようになり、推論と意思決定のプロセスが強化されます。
事前トレーニングされたモデルに依存する従来のアプローチでは、広範なドメイン固有のデータとかなりの報酬フィードバックが必要ですが、リアルタイムの適応性が欠如しているため、動的な環境での有効性が妨げられます。
このペーパーでは、エージェントの信頼性推論を強化するために検索拡張生成 (RAG) 手法を活用したグラフ検索拡張推論 (GRATR) フレームワークを紹介します。
GRATR は動的な信頼性グラフを構築し、証拠情報でリアルタイムに更新し、関連する信頼データを取得して大規模言語モデル (LLM) の推論機能を強化します。
マルチプレイヤー ゲーム「ウェアウルフ」での実験を通じて、GRATR をベースライン LLM および Native RAG および Rerank RAG で強化された LLM と比較することで、アプローチを検証します。
私たちの結果は、GRATR が優れた推論パフォーマンスを備え、勝率においてベースライン手法を 30% 以上上回っていることを示しています。
さらに、GRATR は、同一性や他覚的健忘などの LLM 幻覚を効果的に軽減し、重要なことに、信頼性グラフの使用を通じて推論プロセスの透明性と追跡可能性を高めます。

要約(オリジナル)

Trustworthiness reasoning is crucial in multiplayer games with incomplete information, enabling agents to identify potential allies and adversaries, thereby enhancing reasoning and decision-making processes. Traditional approaches relying on pre-trained models necessitate extensive domain-specific data and considerable reward feedback, with their lack of real-time adaptability hindering their effectiveness in dynamic environments. In this paper, we introduce the Graph Retrieval Augmented Reasoning (GRATR) framework, leveraging the Retrieval-Augmented Generation (RAG) technique to bolster trustworthiness reasoning in agents. GRATR constructs a dynamic trustworthiness graph, updating it in real-time with evidential information, and retrieves relevant trust data to augment the reasoning capabilities of Large Language Models (LLMs). We validate our approach through experiments on the multiplayer game ‘Werewolf,’ comparing GRATR against baseline LLM and LLM enhanced with Native RAG and Rerank RAG. Our results demonstrate that GRATR surpasses the baseline methods by over 30\% in winning rate, with superior reasoning performance. Moreover, GRATR effectively mitigates LLM hallucinations, such as identity and objective amnesia, and crucially, it renders the reasoning process more transparent and traceable through the use of the trustworthiness graph.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google