Intrinsically motivated graph exploration using network theories of human curiosity

要約

内発的に動機づけられた探索は、外発的な報酬がなくても強化学習に有効であることが証明されている。環境が自然にグラフとして表現される場合、どのように探索を導くのが最適なのかは未解決の問題のままである。本研究では、人間の好奇心に関する2つの理論、すなわち情報ギャップ理論と圧縮進歩理論に動機付けられた、グラフ構造データを探索するための新しいアプローチを提案する。これらの理論は、好奇心を、環境で訪問したノードによって誘導される部分グラフのトポロジカルな特徴を最適化する本質的な動機付けとみなす。我々は、これらの提案された特徴を、グラフ・ニューラル・ネットワークに基づく強化学習の報酬として用いる。合成的に生成された複数のクラスのグラフにおいて、訓練されたエージェントは、訓練中に見られるよりも長い探索歩行と大きな環境に汎化することが分かる。本手法は、関連するトポロジー特性の貪欲な評価よりも効率的に計算する。提案された本質的な動機付けは、推薦システムに特に関連している。我々は、好奇心を考慮した次ノード推薦が、PageRankの中心性よりも人間の選択を予測しやすいことを、いくつかの実世界のグラフ環境において実証する。

要約(オリジナル)

Intrinsically motivated exploration has proven useful for reinforcement learning, even without additional extrinsic rewards. When the environment is naturally represented as a graph, how to guide exploration best remains an open question. In this work, we propose a novel approach for exploring graph-structured data motivated by two theories of human curiosity: the information gap theory and the compression progress theory. The theories view curiosity as an intrinsic motivation to optimize for topological features of subgraphs induced by nodes visited in the environment. We use these proposed features as rewards for graph neural-network-based reinforcement learning. On multiple classes of synthetically generated graphs, we find that trained agents generalize to longer exploratory walks and larger environments than are seen during training. Our method computes more efficiently than the greedy evaluation of the relevant topological properties. The proposed intrinsic motivations bear particular relevance for recommender systems. We demonstrate that next-node recommendations considering curiosity are more predictive of human choices than PageRank centrality in several real-world graph environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL