Class Is Invariant to Context and Vice Versa: On Learning Invariance for Out-Of-Distribution Generalization

要約

タイトル：クラスは文脈によらず不変であり、逆も同様：外部分布の汎化に向けた不変性の学習について

要約：

– OOD分散汎化は環境変化に対する不変性を学習することに関するものである。
– クラス毎の文脈が均等に分布している場合、クラスは文脈に対して不変であるため、OOD分散汎化は簡単である。
– 文脈が均衡でない場合の学習は不平衡なデータによって、モデルが文脈に偏った結果となるため、OODにとって重要なのは文脈のバランスである。
– 以前の研究で広く採用されている仮定、つまり文脈バイアスは直接的に注釈付けられるか予測されることによって採用することが、文脈が不完全である場合があることを指摘する。
– 我々は、上記の原則の見過ごされがちな反対側を指摘し、文脈もクラスに対して不変であることを強調し、既にラベル付けされたクラスを変動環境として考慮することを提案する。
– intra-class sample similarityの対比損失を最小化することで、我々はこのアイデアを実装し、すべてのクラスに対して不変であることを保証しながら、クラス内のサンプルの類似度を最小化することを目指す。
– 様々な文脈バイアスやドメインギャップに対して、我々は文脈推定を装備した簡単な再重み付けに基づく分類器が最新の性能を発揮することを示し、Appendixで理論的な正当化と https://github.com/simpleshinobu/IRMCon でコードを提供する。

要約(オリジナル)

Out-Of-Distribution generalization (OOD) is all about learning invariance against environmental changes. If the context in every class is evenly distributed, OOD would be trivial because the context can be easily removed due to an underlying principle: class is invariant to context. However, collecting such a balanced dataset is impractical. Learning on imbalanced data makes the model bias to context and thus hurts OOD. Therefore, the key to OOD is context balance. We argue that the widely adopted assumption in prior work, the context bias can be directly annotated or estimated from biased class prediction, renders the context incomplete or even incorrect. In contrast, we point out the everoverlooked other side of the above principle: context is also invariant to class, which motivates us to consider the classes (which are already labeled) as the varying environments to resolve context bias (without context labels). We implement this idea by minimizing the contrastive loss of intra-class sample similarity while assuring this similarity to be invariant across all classes. On benchmarks with various context biases and domain gaps, we show that a simple re-weighting based classifier equipped with our context estimation achieves state-of-the-art performance. We provide the theoretical justifications in Appendix and codes on https://github.com/simpleshinobu/IRMCon.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI