OCTET: Object-aware Counterfactual Explanations

要約

現在、ディープ ビジョン モデルは自動運転などの安全性が重要なアプリケーションに広く展開されており、そのようなモデルの説明可能性が差し迫った問題になっています。
説明方法の中で、反事実的説明は、説明されるモデルの出力も変更する、入力画像への最小限で解釈可能な変更を見つけることを目的としています。
このような説明は、モデルの決定に影響を与える主な要因をエンドユーザーに示します。
ただし、以前の方法では、多くのオブジェクト (都市のシーンなど) を含む画像でトレーニングされた意思決定モデルを説明するのに苦労していました。
この作業では、反事実の説明生成のためのオブジェクト中心のフレームワークでこの問題に取り組むことを提案します。
最近の生成モデリング作業に触発された私たちの方法は、オブジェクトレベルの操作を容易にする方法で構造化された潜在空間にクエリ画像をエンコードします。
そうすることで、エンドユーザーは、反事実生成中に探索する検索方向 (オブジェクトの空間移動、スタイルの変更など) を制御できます。
運転シーンの反事実説明ベンチマークに関する一連の実験を行い、セマンティック セグメンテーション モデルの説明など、分類を超えてこの方法を適用できることを示します。
分析を完了するために、意思決定モデルを理解する上での反事実の説明の有用性を測定するユーザー調査を設計して実行します。
コードは https://github.com/valeoai/OCTET で入手できます。

要約(オリジナル)

Nowadays, deep vision models are being widely deployed in safety-critical applications, e.g., autonomous driving, and explainability of such models is becoming a pressing concern. Among explanation methods, counterfactual explanations aim to find minimal and interpretable changes to the input image that would also change the output of the model to be explained. Such explanations point end-users at the main factors that impact the decision of the model. However, previous methods struggle to explain decision models trained on images with many objects, e.g., urban scenes, which are more difficult to work with but also arguably more critical to explain. In this work, we propose to tackle this issue with an object-centric framework for counterfactual explanation generation. Our method, inspired by recent generative modeling works, encodes the query image into a latent space that is structured in a way to ease object-level manipulations. Doing so, it provides the end-user with control over which search directions (e.g., spatial displacement of objects, style modification, etc.) are to be explored during the counterfactual generation. We conduct a set of experiments on counterfactual explanation benchmarks for driving scenes, and we show that our method can be adapted beyond classification, e.g., to explain semantic segmentation models. To complete our analysis, we design and run a user study that measures the usefulness of counterfactual explanations in understanding a decision model. Code is available at https://github.com/valeoai/OCTET.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google