Causal Explanations for Stochastic Sequential Multi-Agent Decision-Making

要約

【タイトル】
確率的な連続的な多数エージェントの決定に対する因果的な説明

【要約】
CEMAという因果的な説明を提供するシステムは、確率的な連続的な多数エージェントの環境におけるエージェントの決定の因果的な説明を生成する。CEMAの中心は、推測確率モデルが利用できる場合にのみ適用可能な新しい因果的選択方法である。モデルを利用して対照的な世界をサンプリングし、決定の背後にある顕著な原因を特定し順位付けを行う。また、CEMAは社会的説明可能なAIの要件に合わせて設計されており、選択された原因に基づく対比的な説明を生成することができ、ユーザーとの相互作用ループとして機能して、彼らにとって関連性と理解可能性を確保する。CEMAは、自律走行の動作計画のために実装され、4つの異なるシミュレーションシナリオでテストされた。CEMAは、決定の背後にある関連する原因を正確かつ堅牢に特定し、ユーザーのクエリに関連する説明を提供することが示された。

要約(オリジナル)

We present CEMA: Causal Explanations for Multi-Agent decision-making; a system to generate causal explanations for agents’ decisions in stochastic sequential multi-agent environments. The core of CEMA is a novel causal selection method which, unlike prior work that assumes a specific causal structure, is applicable whenever a probabilistic model for predicting future states of the environment is available. We sample counterfactual worlds with this model which are used to identify and rank the salient causes behind decisions. We also designed CEMA to meet the requirements of social explainable AI. It can generate contrastive explanations based on selected causes and it works as an interaction loop with users to assure relevance and intelligibility for them. We implement CEMA for motion planning for autonomous driving and test it in four diverse simulated scenarios. We show that CEMA correctly and robustly identifies the relevant causes behind decisions and delivers relevant explanations to users’ queries.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI