Rethinking Visual Counterfactual Explanations Through Region Constraint

要約

視覚的反事実説明 (VCE) は、画像分類器の意思決定プロセスを明確にするツールとして最近非常に人気を得ています。
この傾向は主に、これらの説明が提供すると約束しているもの、つまり分類子の決定を変更する意味的に意味のある要素を示しているものによって動機づけられています。
しかし、現在の最先端のアプローチには、重要な要素である領域制約が欠如しており、それが存在しないため明確な結論を導き出すことができず、確証バイアスなどの現象により誤った推論につながる可能性さえあると我々は主張する。
非常に絡み合って広範囲に分散した方法で画像を変更する以前の方法の問題に対処するために、事前に定義された画像領域のみを変更してモデルの予測に影響を与えることができると仮定する領域制約 VCE (RVCE) を提案します。
この VCE のサブクラスから効果的にサンプリングするために、領域制約付き反事実シュレディンガー ブリッジ (RCSB) を提案します。これは、条件付き修復の問題にシュレディンガー ブリッジの扱いやすいサブクラスを適応させたもので、条件付け信号は
興味のある分類子。
新しい最先端技術を大幅に確立することに加えて、RCSB を拡張して正確な反事実推論を可能にし、事前定義された領域には対象の要素のみが含まれ、ユーザーが RVCE と積極的に対話できるように組み込みます。
領域を手動で事前定義します。

要約(オリジナル)

Visual counterfactual explanations (VCEs) have recently gained immense popularity as a tool for clarifying the decision-making process of image classifiers. This trend is largely motivated by what these explanations promise to deliver — indicate semantically meaningful factors that change the classifier’s decision. However, we argue that current state-of-the-art approaches lack a crucial component — the region constraint — whose absence prevents from drawing explicit conclusions, and may even lead to faulty reasoning due to phenomenons like confirmation bias. To address the issue of previous methods, which modify images in a very entangled and widely dispersed manner, we propose region-constrained VCEs (RVCEs), which assume that only a predefined image region can be modified to influence the model’s prediction. To effectively sample from this subclass of VCEs, we propose Region-Constrained Counterfactual Schr\’odinger Bridges (RCSB), an adaptation of a tractable subclass of Schr\’odinger Bridges to the problem of conditional inpainting, where the conditioning signal originates from the classifier of interest. In addition to setting a new state-of-the-art by a large margin, we extend RCSB to allow for exact counterfactual reasoning, where the predefined region contains only the factor of interest, and incorporating the user to actively interact with the RVCE by predefining the regions manually.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google