Benchmarking Counterfactual Image Generation

要約

ジェネレーティブ AI はビジュアル コンテンツ編集に革命をもたらし、ユーザーが画像やビデオを簡単に変更できるようにしました。
ただし、すべての編集が同じであるわけではありません。
自然画像や医療画像などの領域で現実的な編集を実行するには、データ生成プロセスに固有の因果関係を尊重して変更を行う必要があります。
このような画像編集は、反事実的な画像生成領域に分類されます。
反事実的な画像生成の評価は非常に複雑です。観察可能なグランドトゥルースが欠けているだけでなく、因果関係の制約を遵守する必要もあります。
いくつかの反事実的な画像生成方法と評価基準が存在しますが、統一された設定内での包括的な比較が不足しています。
反事実的な画像生成方法を徹底的にベンチマークするための比較フレームワークを紹介します。
私たちは、当面のタスクに使用されているすべてのモデルを統合し、それらを新しいデータセットと因果グラフに拡張し、ほとんどのデータセットとメトリックにわたって階層型 VAE の優位性を実証します。
私たちのフレームワークはユーザーフレンドリーな Python パッケージで実装されており、コミュニティが構築するための追加の SCM、因果関係メソッド、生成モデル、データセットを組み込むように拡張できます。

要約(オリジナル)

Generative AI has revolutionised visual content editing, empowering users to effortlessly modify images and videos. However, not all edits are equal. To perform realistic edits in domains such as natural image or medical imaging, modifications must respect causal relationships inherent to the data generation process. Such image editing falls into the counterfactual image generation regime. Evaluating counterfactual image generation is substantially complex: not only it lacks observable ground truths, but also requires adherence to causal constraints. Although several counterfactual image generation methods and evaluation metrics exist, a comprehensive comparison within a unified setting is lacking. We present a comparison framework to thoroughly benchmark counterfactual image generation methods. We integrate all models that have been used for the task at hand and expand them to novel datasets and causal graphs, demonstrating the superiority of Hierarchical VAEs across most datasets and metrics. Our framework is implemented in a user-friendly Python package that can be extended to incorporate additional SCMs, causal methods, generative models, and datasets for the community to build on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google