Align-Deform-Subtract: An Interventional Framework for Explaining Object Differences

要約

2つのオブジェクト画像がある場合、基になるオブジェクトプロパティの観点からそれらの違いをどのように説明できますか？
この質問に対処するために、オブジェクトの違いを説明するための介入フレームワークであるAlign-Deform-Subtract（ADS）を提案します。
ADSは、基になるオブジェクトプロパティに対する反事実的介入として画像空間のセマンティックアラインメントを活用することにより、オブジェクトプロパティの違いを繰り返し定量化して削除します。
結果は、基礎となるプロパティの観点からオブジェクトの違いを説明する一連の「解きほぐされた」エラー測定値です。
実際のデータと合成データの実験は、フレームワークの有効性を示しています。

要約(オリジナル)

Given two object images, how can we explain their differences in terms of the underlying object properties? To address this question, we propose Align-Deform-Subtract (ADS) — an interventional framework for explaining object differences. By leveraging semantic alignments in image-space as counterfactual interventions on the underlying object properties, ADS iteratively quantifies and removes differences in object properties. The result is a set of ‘disentangled’ error measures which explain object differences in terms of the underlying properties. Experiments on real and synthetic data illustrate the efficacy of the framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google