Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments

要約

事前の調整なしで他のエージェントと効果的に対話できる自律エージェントの設計は、マルチエージェント システムの中心的な問題です。
タイプベースの推論方法は、他のエージェントの一連の潜在的な行動に対する信念を維持することでこれを実現します。
ただし、現在の方法は、他のエージェントの状態とアクションの完全な可観測性を前提としているか、より長い計画期間を持つより大きな問題に効率的に拡張できないという点で制限されています。
これらの制限に対処して、部分的に観測可能な型ベースのメタ モンテカルロ プランニング (POTMMCP) を提案します。これは、大規模な部分的に観測可能な環境で型ベースの推論を行うための、オンライン モンテカルロ ツリー検索ベースの計画手法です。
POTMMCP には、検索をガイドし信念を評価するための新しいメタ ポリシーが組み込まれており、より短い計画時間を使用してより長い期間にわたってより効果的に検索できるようになります。
私たちの方法が限界内で最適解に収束することを示し、さまざまな環境にわたる他のエージェントの多様なセットにオンラインで効果的に適応することを経験的に実証します。
最大 $10^{14}$ 状態の問題および $10^8$ 観測結果に対する最先端の手法との比較は、POTMMCP がより優れた解を大幅に高速に計算できることを示しています。

要約(オリジナル)

The design of autonomous agents that can interact effectively with other agents without prior coordination is a core problem in multi-agent systems. Type-based reasoning methods achieve this by maintaining a belief over a set of potential behaviours for the other agents. However, current methods are limited in that they assume full observability of the state and actions of the other agent or do not scale efficiently to larger problems with longer planning horizons. Addressing these limitations, we propose Partially Observable Type-based Meta Monte-Carlo Planning (POTMMCP) – an online Monte-Carlo Tree Search based planning method for type-based reasoning in large partially observable environments. POTMMCP incorporates a novel meta-policy for guiding search and evaluating beliefs, allowing it to search more effectively to longer horizons using less planning time. We show that our method converges to the optimal solution in the limit and empirically demonstrate that it effectively adapts online to diverse sets of other agents across a range of environments. Comparisons with the state-of-the art method on problems with up to $10^{14}$ states and $10^8$ observations indicate that POTMMCP is able to compute better solutions significantly faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google