Benchmarking Counterfactual Image Generation

要約

反事実画像の生成は、変数の因果関係を理解する上で極めて重要であり、解釈可能性や偏りのない合成データの生成に応用されます。
ただし、画像生成の評価自体は長年の課題です。
この課題に関して反事実の生成を評価する必要性は、定義上、反事実が観察可能なグランドトゥルースを持たない仮説的なシナリオであるためです。
この論文では、反事実画像生成方法のベンチマークを目的とした新しい包括的なフレームワークを紹介します。
私たちは、構成、有効性、介入の最小性、画像のリアリズムなど、反事実のさまざまな側面を評価することに焦点を当てた指標を組み込みます。
構造因果モデル パラダイムに基づいて、3 つの異なる条件付き画像生成モデル タイプのパフォーマンスを評価します。
私たちの作業には、既存および将来の反事実的な画像生成方法をさらに評価およびベンチマークできる、ユーザーフレンドリーな Python パッケージが付属しています。
私たちのフレームワークは、追加の SCM やその他の因果関係の手法、生成モデル、データセットに拡張可能です。

要約(オリジナル)

Counterfactual image generation is pivotal for understanding the causal relations of variables, with applications in interpretability and generation of unbiased synthetic data. However, evaluating image generation is a long-standing challenge in itself. The need to evaluate counterfactual generation compounds on this challenge, precisely because counterfactuals, by definition, are hypothetical scenarios without observable ground truths. In this paper, we present a novel comprehensive framework aimed at benchmarking counterfactual image generation methods. We incorporate metrics that focus on evaluating diverse aspects of counterfactuals, such as composition, effectiveness, minimality of interventions, and image realism. We assess the performance of three distinct conditional image generation model types, based on the Structural Causal Model paradigm. Our work is accompanied by a user-friendly Python package which allows to further evaluate and benchmark existing and future counterfactual image generation methods. Our framework is extendable to additional SCM and other causal methods, generative models, and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google