EiHi Net: Out-of-Distribution Generalization Paradigm

要約

この論文では、深層学習における分布外 (OoD) 一般化問題を解決するための新しい EiHi ネットを開発します。
EiHi net は、あらゆる視覚的バックボーンに対応できるモデル学習パラダイムです。
このパラダイムは、ディープ モデルの以前の学習方法を変更できます。つまり、帰納的なサンプルの特徴と対応するカテゴリの間の相関関係を見つけることができます。
SimCLR と VIC-Reg を融合し、オリジナル – ポジティブ – ネガティブ サンプル ペアを最小限の学習要素として明示的かつ動的に確立します。ディープ モデルは、疑似相関を抑制しながら、特徴とラベルの間の因果関係に近い関係を繰り返し確立します。
提案されたモデルをさらに検証し、確立された因果関係を強化するために、少数のガイダンス サンプルを使用して人間参加戦略を開発し、表現空間を直接刈り込みます。
最後に、開発された EiHi ネットは、現在の SOTA の結果と比較して、ドメイン ($e.g.$ バックグラウンド、無関係な機能) 情報なしで、最も困難で典型的な OoD データセット Nico で大幅な改善を行うことが示されています。

要約(オリジナル)

This paper develops a new EiHi net to solve the out-of-distribution (OoD) generalization problem in deep learning. EiHi net is a model learning paradigm that can be blessed on any visual backbone. This paradigm can change the previous learning method of the deep model, namely find out correlations between inductive sample features and corresponding categories, which suffers from pseudo correlations between indecisive features and labels. We fuse SimCLR and VIC-Reg via explicitly and dynamically establishing the original – positive – negative sample pair as a minimal learning element, the deep model iteratively establishes a relationship close to the causal one between features and labels, while suppressing pseudo correlations. To further validate the proposed model, and strengthen the established causal relationships, we develop a human-in-the-loop strategy, with few guidance samples, to prune the representation space directly. Finally, it is shown that the developed EiHi net makes significant improvements in the most difficult and typical OoD dataset Nico, compared with the current SOTA results, without any domain ($e.g.$ background, irrelevant features) information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google