Walk Wisely on Graph: Knowledge Graph Reasoning with Dual Agents via Efficient Guidance-Exploration

要約

近年、マルチホップ推論は、その有効性と解釈可能性により、ナレッジグラフ（KG）推論として広く研究されています。
ただし、以前のマルチホップ推論アプローチには 2 つの主な欠点があります。
まず、報酬が少ないため、エージェントは初期段階で効果的で堅牢なポリシーを学習するのに苦労します。
第 2 に、これらのアプローチは、エージェントが長い推論パスをたどる必要がある、まばらな知識グラフなどの特定のデータセットではうまくいかないことがよくあります。
これらの問題に対処するために、階層強化学習 (HRL) に基づくデュアル エージェントを備えたマルチホップ推論モデル (FULORA) を提案します。
FULORA は、デュアル エージェント間の効率的な GUIdance-ExpLORation によって、上記の推論の課題に取り組みます。
高レベルのエージェントは、簡略化されたナレッジ グラフ上を歩き、元のナレッジ グラフ上を歩く低レベルのエージェントに段階的なヒントを提供します。
このフレームワークでは、低レベル エージェントは、(1) 収益の最大化、および (2) 高レベル エージェントからの効率的なガイダンスの統合という 2 つの目的のバランスを取る価値関数を最適化します。
3 つのリアルワード ナレッジ グラフ データセットに対して行われた実験では、特に長距離推論の場合、FULORA が RL ベースのベースラインよりも優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

Recent years, multi-hop reasoning has been widely studied for knowledge graph (KG) reasoning due to its efficacy and interpretability. However, previous multi-hop reasoning approaches are subject to two primary shortcomings. First, agents struggle to learn effective and robust policies at the early phase due to sparse rewards. Second, these approaches often falter on specific datasets like sparse knowledge graphs, where agents are required to traverse lengthy reasoning paths. To address these problems, we propose a multi-hop reasoning model with dual agents based on hierarchical reinforcement learning (HRL), which is named FULORA. FULORA tackles the above reasoning challenges by eFficient GUidance-ExpLORAtion between dual agents. The high-level agent walks on the simplified knowledge graph to provide stage-wise hints for the low-level agent walking on the original knowledge graph. In this framework, the low-level agent optimizes a value function that balances two objectives: (1) maximizing return, and (2) integrating efficient guidance from the high-level agent. Experiments conducted on three real-word knowledge graph datasets demonstrate that FULORA outperforms RL-based baselines, especially in the case of long-distance reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google