Causal Explanations for Sequential Decision-Making in Multi-Agent Systems

要約

CEMA: マルチエージェント システムにおける因果関係の説明を紹介します。
より信頼できる自律エージェントを構築するために、動的逐次マルチエージェント システムにおけるエージェントの決定の因果関係のある自然言語説明を作成するためのフレームワーク。
固定された因果構造を仮定する以前の研究とは異なり、CEMA ではシステムの状態をフォワード シミュレーションするための確率モデルのみが必要です。
CEMA は、このようなモデルを使用して、エージェントの決定の背後にある顕著な原因を特定する反事実の世界をシミュレートします。
私たちは自動運転のための動作計画のタスクに関して CEMA を評価し、さまざまなシミュレートされたシナリオでテストします。
我々は、他の多数のエージェントが存在する場合でも、CEMA がエージェントの決定の背後にある原因を正確かつ確実に特定することを示し、ユーザー調査を通じて、CEMA の説明が自動運転車に対する参加者の信頼にプラスの効果をもたらし、次のように評価されていることを示します。
他の参加者から引き出された質の高いベースライン説明と同様に高い。
収集した解説をアノテーション付きでHEADDデータセットとして公開します。

要約(オリジナル)

We present CEMA: Causal Explanations in Multi-Agent systems; a framework for creating causal natural language explanations of an agent’s decisions in dynamic sequential multi-agent systems to build more trustworthy autonomous agents. Unlike prior work that assumes a fixed causal structure, CEMA only requires a probabilistic model for forward-simulating the state of the system. Using such a model, CEMA simulates counterfactual worlds that identify the salient causes behind the agent’s decisions. We evaluate CEMA on the task of motion planning for autonomous driving and test it in diverse simulated scenarios. We show that CEMA correctly and robustly identifies the causes behind the agent’s decisions, even when a large number of other agents is present, and show via a user study that CEMA’s explanations have a positive effect on participants’ trust in autonomous vehicles and are rated as high as high-quality baseline explanations elicited from other participants. We release the collected explanations with annotations as the HEADD dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google