Diffusion-based Visual Counterfactual Explanations — Towards Systematic Quantitative Evaluation

要約

視覚的反事実説明 (VCE) の最新の方法では、深い生成モデルの力を利用して、印象的な品質の高次元画像の新しい例を合成します。
ただし、評価手順は大きく異なり、多くの場合、個々の例の目視検査や小規模なユーザー調査に集約されるため、これらの VCE 手法のパフォーマンスを比較することは現時点では困難です。
この研究では、VCE 手法を体系的かつ定量的に評価するためのフレームワークと、使用する最小限の指標セットを提案します。
このフレームワークを使用して、自然画像分類 (ImageNet) の VCE 用の最新の拡散ベースの生成モデルにおける特定の重要な設計選択の効果を調査します。
私たちは一連のアブレーションのような実験を実施し、さまざまな複雑さ、精度、堅牢性を備えた一連の分類器に対して数千の VCE を生成します。
私たちの調査結果は、VCE 手法の将来の進歩と改善に向けた複数の方向性を示唆しています。
限られたハードウェア設定 (完全なコードベースを含む) でこのような研究の計算上の課題に取り組むための方法論とアプローチを共有することで、反事実の説明の評価における一貫性と透明性を促進する貴重なガイダンスをこの分野の研究者に提供します。

要約(オリジナル)

Latest methods for visual counterfactual explanations (VCE) harness the power of deep generative models to synthesize new examples of high-dimensional images of impressive quality. However, it is currently difficult to compare the performance of these VCE methods as the evaluation procedures largely vary and often boil down to visual inspection of individual examples and small scale user studies. In this work, we propose a framework for systematic, quantitative evaluation of the VCE methods and a minimal set of metrics to be used. We use this framework to explore the effects of certain crucial design choices in the latest diffusion-based generative models for VCEs of natural image classification (ImageNet). We conduct a battery of ablation-like experiments, generating thousands of VCEs for a suite of classifiers of various complexity, accuracy and robustness. Our findings suggest multiple directions for future advancements and improvements of VCE methods. By sharing our methodology and our approach to tackle the computational challenges of such a study on a limited hardware setup (including the complete code base), we offer a valuable guidance for researchers in the field fostering consistency and transparency in the assessment of counterfactual explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google