Concept Learning for Interpretable Multi-Agent Reinforcement Learning

要約

マルチエージェント ロボット システムは、ますます人間に近い現実世界の環境で動作するようになっていますが、その大部分は、不可解なディープ ニューラル ネットワーク表現を使用したポリシー モデルによって制御されています。
ドメインエキスパートからの解釈可能な概念を、マルチエージェント強化学習を通じてトレーニングされたモデルに組み込む方法を紹介します。これは、モデルが最初にそのような概念を予測し、次にそれらを意思決定に利用することを要求することによって行われます。
これにより、専門家は実行時にこれらの高レベルの概念の観点から結果として得られる概念ポリシー モデルについて推論し、パフォーマンスを向上させるために介入して誤予測を修正することができます。
これにより、解釈可能性とトレーニングの安定性が向上し、シミュレートされた実世界の協力的競争マルチエージェントゲームでのポリシーのパフォーマンスとサンプル効率が向上することを示します。

要約(オリジナル)

Multi-agent robotic systems are increasingly operating in real-world environments in close proximity to humans, yet are largely controlled by policy models with inscrutable deep neural network representations. We introduce a method for incorporating interpretable concepts from a domain expert into models trained through multi-agent reinforcement learning, by requiring the model to first predict such concepts then utilize them for decision making. This allows an expert to both reason about the resulting concept policy models in terms of these high-level concepts at run-time, as well as intervene and correct mispredictions to improve performance. We show that this yields improved interpretability and training stability, with benefits to policy performance and sample efficiency in a simulated and real-world cooperative-competitive multi-agent game.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google