Mixstyle-Entropy: Domain Generalization with Causal Intervention and Perturbation

要約

ディープ ニューラル ネットワークは大幅な進歩を遂げましたが、テスト環境がトレーニング環境から乖離すると、パフォーマンスが低下する傾向があります。
ドメイン一般化 (DG) は、ドメイン関連情報から独立した表現を学習することでこの問題を解決し、目に見えない環境への推定を容易にします。
既存のアプローチは通常、ソース データから共有特徴を抽出するために調整されたトレーニング目標を策定することに重点を置いています。
ただし、トレーニングとテストの手順がバラバラであると、特に展開中の予期せぬ変化に直面した場合に堅牢性が損なわれる可能性があります。
この論文では、トレーニング中の因果的介入とテスト中の因果的摂動を組み込むことによってモデルの一般化を強化するように設計された、InPer と呼ばれる、因果関係に基づく新規で全体的なフレームワークを提案します。
具体的には、トレーニング段階では、エントロピーベースの因果介入 (EnIn) を採用して、因果変数の選択を改良します。
ターゲットドメインからの反干渉因果変数を持つサンプルを識別するために、テスト時にプロトタイプ分類器を構築するための因果的摂動（HoPer）による新しいメトリクス、恒常性スコアを提案します。
複数のクロスドメイン タスクにわたる実験結果により、InPer の有効性が確認されています。

要約(オリジナル)

Despite the considerable advancements achieved by deep neural networks, their performance tends to degenerate when the test environment diverges from the training ones. Domain generalization (DG) solves this issue by learning representations independent of domain-related information, thus facilitating extrapolation to unseen environments. Existing approaches typically focus on formulating tailored training objectives to extract shared features from the source data. However, the disjointed training and testing procedures may compromise robustness, particularly in the face of unforeseen variations during deployment. In this paper, we propose a novel and holistic framework based on causality, named InPer, designed to enhance model generalization by incorporating causal intervention during training and causal perturbation during testing. Specifically, during the training phase, we employ entropy-based causal intervention (EnIn) to refine the selection of causal variables. To identify samples with anti-interference causal variables from the target domain, we propose a novel metric, homeostatic score, through causal perturbation (HoPer) to construct a prototype classifier in test time. Experimental results across multiple cross-domain tasks confirm the efficacy of InPer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google