Causal Explanations for Sequential Decision-Making in Multi-Agent Systems

要約

CEMA: マルチエージェント システムにおける因果関係の説明を紹介します。
逐次的なマルチエージェント システムにおけるエージェントの決定の因果関係の説明を作成するための一般的なフレームワーク。
CEMA の中核は、人間が説明のために原因を選択する方法にヒントを得た、新しい因果選択手法です。
特定の因果構造を仮定する従来の研究とは異なり、CEMA は、環境の将来の状態を予測するための確率モデルが利用可能な場合には常に適用できます。
このようなモデルを前提として、CEMA は、エージェントの決定の背後にある顕著な原因を私たちに知らせる反事実の世界をサンプリングします。
私たちは自動運転のための動作計画のタスクに関して CEMA を評価し、さまざまなシミュレートされたシナリオでテストします。
私たちは、多数のエージェントが存在する場合でも、CEMA が意思決定の背後にある原因を正確かつ確実に特定することを示し、ユーザー調査を通じて、CEMA の説明が AV に対する参加者の信頼にプラスの効果をもたらし、少なくとも高い評価と同等であることを示します。
– 他の参加者から引き出された人間による質の高い説明。

要約(オリジナル)

We present CEMA: Causal Explanations in Multi-Agent systems; a general framework to create causal explanations for an agent’s decisions in sequential multi-agent systems. The core of CEMA is a novel causal selection method inspired by how humans select causes for explanations. Unlike prior work that assumes a specific causal structure, CEMA is applicable whenever a probabilistic model for predicting future states of the environment is available. Given such a model, CEMA samples counterfactual worlds that inform us about the salient causes behind the agent’s decisions. We evaluate CEMA on the task of motion planning for autonomous driving and test it in diverse simulated scenarios. We show that CEMA correctly and robustly identifies the causes behind decisions, even when a large number of agents is present, and show via a user study that CEMA’s explanations have a positive effect on participant’s trust in AVs and are rated at least as good as high-quality human explanations elicited from other participants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google