Reinforcement Learning Discovers Efficient Decentralized Graph Path Search Strategies

要約

グラフ パス検索は古典的なコンピューター サイエンスの問題であり、以前の方法よりも優れたパフォーマンスを発揮する可能性があるため、最近では強化学習 (RL) を使用してアプローチされています。
既存の RL 技術は通常、ネットワークのグローバルな視点を前提としているため、大規模で動的、プライバシーに配慮した設定には適していません。
ソーシャル ネットワークでの検索は、アプリケーションが多数あるため、特に興味深い分野です。
ソーシャルネットワークでは分散型でありながら効率的な検索が可能であることを示した実験社会学の独創的な研究に触発され、私たちはネットワークの限られたローカルビューを備えた複数のエージェント間の共同作業として問題を組み立てました。
我々は、同質性と構造的異質性の両方をうまく活用する、グラフ パス検索のためのマルチエージェント アプローチを提案します。
合成および現実世界のソーシャル ネットワーク上で実行された私たちの実験は、私たちのモデルが学習されたヒューリスティック ベースラインを大幅に上回るパフォーマンスを示しています。
さらに、私たちの結果は、グラフナビゲーションのための意味のある埋め込みが報酬駆動学習を使用して構築できることを示しています。

要約(オリジナル)

Graph path search is a classic computer science problem that has been recently approached with Reinforcement Learning (RL) due to its potential to outperform prior methods. Existing RL techniques typically assume a global view of the network, which is not suitable for large-scale, dynamic, and privacy-sensitive settings. An area of particular interest is search in social networks due to its numerous applications. Inspired by seminal work in experimental sociology, which showed that decentralized yet efficient search is possible in social networks, we frame the problem as a collaborative task between multiple agents equipped with a limited local view of the network. We propose a multi-agent approach for graph path search that successfully leverages both homophily and structural heterogeneity. Our experiments, carried out over synthetic and real-world social networks, demonstrate that our model significantly outperforms learned and heuristic baselines. Furthermore, our results show that meaningful embeddings for graph navigation can be constructed using reward-driven learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google