Disentanglement and Generalization Under Correlation Shifts

要約

変動要因間の相関関係は、実世界のデータで広く見られます。
このような相関関係を利用すると、ノイズの多いデータの予測パフォーマンスが向上する可能性があります。
ただし、多くの場合、相関関係は堅牢ではなく (たとえば、ドメイン、データセット、またはアプリケーション間で変化する可能性があります)、それらを利用するモデルは、相関関係が変化したときに一般化されません。
もつれを解く方法は、潜在部分空間の変動のさまざまな要因を捉える表現を学習することを目的としています。
一般的なアプローチには、潜在的なサブスペース間の相互情報を最小限に抑え、それぞれが単一の基になる属性をエンコードすることが含まれます。
ただし、属性が相関している場合、これは失敗します。
この問題は、利用可能な属性に条件付けられたサブスペース間の独立性を強制することで解決されます。これにより、トレーニング データに存在する相関構造によるものではない依存関係のみを削除できます。
これは、カテゴリ変数に関する部分空間間の条件付き相互情報量 (CMI) を最小限に抑えるための敵対的アプローチによって実現されます。
最初に、CMI の最小化が線形問題のロバストなもつれの解消に適した目的であることを理論的に示します。
次に、MNIST と CelebA に基づいた現実世界のデータセットにこの方法を適用し、弱い監視下の設定を含め、相関シフトの下でもつれを解き、堅牢なモデルが得られることを示します。

要約(オリジナル)

Correlations between factors of variation are prevalent in real-world data. Exploiting such correlations may increase predictive performance on noisy data; however, often correlations are not robust (e.g., they may change between domains, datasets, or applications) and models that exploit them do not generalize when correlations shift. Disentanglement methods aim to learn representations which capture different factors of variation in latent subspaces. A common approach involves minimizing the mutual information between latent subspaces, such that each encodes a single underlying attribute. However, this fails when attributes are correlated. We solve this problem by enforcing independence between subspaces conditioned on the available attributes, which allows us to remove only dependencies that are not due to the correlation structure present in the training data. We achieve this via an adversarial approach to minimize the conditional mutual information (CMI) between subspaces with respect to categorical variables. We first show theoretically that CMI minimization is a good objective for robust disentanglement on linear problems. We then apply our method on real-world datasets based on MNIST and CelebA, and show that it yields models that are disentangled and robust under correlation shift, including in weakly supervised settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google