Driving through the Concept Gridlock: Unraveling Explainability Bottlenecks

要約

コンセプトボトルネックモデルは、人間が定義した一連のコンセプトを使用してモデル内の情報をエンコードすることで、説明可能な機械学習に使用することに成功しています。
人間支援または自動運転のコンテキストでは、説明可能性モデルは、自動運転車によって行われた決定をユーザーが受け入れて理解するのに役立ち、ドライバーまたは車両の動作を合理化して説明するために使用できます。
私たちは、制御コマンドの予測とユーザーと車両の挙動の説明のための視覚的特徴としてコンセプトのボトルネックを使用する新しいアプローチを提案します。
車両制御コマンドを学習しながら、連続する運転シーンを説明するために使用する人間が理解できるコンセプト レイヤーを学習します。
このアプローチは、好みのギャップの変化や人間 (または自動運転車) からのステアリング コマンドが外部刺激によるものなのか、好みの変化によるものなのかを判断するために使用できます。
モデル設定内で解釈可能性を獲得しながら、潜在的な視覚的特徴に対して競争力のあるパフォーマンスを実現します。

要約(オリジナル)

Concept bottleneck models have been successfully used for explainable machine learning by encoding information within the model with a set of human-defined concepts. In the context of human-assisted or autonomous driving, explainability models can help user acceptance and understanding of decisions made by the autonomous vehicle, which can be used to rationalize and explain driver or vehicle behavior. We propose a new approach using concept bottlenecks as visual features for control command predictions and explanations of user and vehicle behavior. We learn a human-understandable concept layer that we use to explain sequential driving scenes while learning vehicle control commands. This approach can then be used to determine whether a change in a preferred gap or steering commands from a human (or autonomous vehicle) is led by an external stimulus or change in preferences. We achieve competitive performance to latent visual features while gaining interpretability within our model setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google