Front-door Adjustment via Style Transfer for Out-of-distribution Generalisation

要約

分布外汎化（OOD）は、ソースドメインから学習した知識を未見のターゲットドメインにうまく汎化できるモデルを構築することを目的としている。しかし、現在の画像分類モデルは、モデルの学習から得られる統計的に偽の相関のために、OOD設定においてしばしば性能が低下する。我々は、因果関係に基づく観点から、OOD画像分類におけるデータ生成過程を因果関係グラフを用いて定式化する。このグラフ上で、統計的学習における画像Xを与えられたラベルYの予測P(Y|do(X))は、因果効果P(Y|do(X))と交絡特徴（例えば、背景）によるスプリアス効果の両方によって形成されていることを示す。スプリアス特徴はドメインに依存するため、予測値P(Y|X)は未知のドメインでは不安定になる。本論文では、フロントドア調整を用いて交絡素性のスプリアス効果を緩和することを提案する。本手法では、媒介変数として、画像のラベルを決定するのに不可欠な意味的特徴を仮定する。画像生成におけるスタイル転送の能力に着想を得て、我々はフロントドア式において、異なる生成画像とメディエータ変数の組み合わせを解釈し、それを推定する新しいアルゴリズムを提案する。広く用いられているベンチマークデータセットに対する広範な実験結果により、本手法の有効性を検証する。

要約(オリジナル)

Out-of-distribution (OOD) generalisation aims to build a model that can well generalise its learnt knowledge from source domains to an unseen target domain. However, current image classification models often perform poorly in the OOD setting due to statistically spurious correlations learning from model training. From causality-based perspective, we formulate the data generation process in OOD image classification using a causal graph. On this graph, we show that prediction P(Y|X) of a label Y given an image X in statistical learning is formed by both causal effect P(Y|do(X)) and spurious effects caused by confounding features (e.g., background). Since the spurious features are domain-variant, the prediction P(Y|X) becomes unstable on unseen domains. In this paper, we propose to mitigate the spurious effect of confounders using front-door adjustment. In our method, the mediator variable is hypothesized as semantic features that are essential to determine a label for an image. Inspired by capability of style transfer in image generation, we interpret the combination of the mediator variable with different generated images in the front-door formula and propose novel algorithms to estimate it. Extensive experimental results on widely used benchmark datasets verify the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL