Discovering environments with XRM

要約

環境アノテーションは、多くの配布外 (OOD) 一般化手法を成功させるために不可欠です。
残念ながら、これらは入手にコストがかかり、ヒューマン アノテーターの偏見によって制限されることがよくあります。
堅牢な一般化を実現するには、データセット内で環境を自動的に検出するアルゴリズムを開発することが不可欠です。
トレーニング誤差に基づいて例を分割する現在の提案には、1 つの根本的な問題があります。
これらの方法では、ハイパーパラメータと早期停止基準が導入されており、人間が注釈を付けた環境での検証セットが必要であり、まさに発見の対象となる情報です。
このペーパーでは、この問題に対処するためにクロスリスク最小化 (XRM) を提案します。
XRM はツイン ネットワークをトレーニングし、それぞれがトレーニング データのランダムな半分から学習しながら、兄弟によって犯された確信を持って保持された間違いを模倣します。
XRM はハイパーパラメーター調整のレシピを提供し、早期停止を必要とせず、すべてのトレーニング データと検証データの環境を検出できます。
XRM 環境上に構築されたアルゴリズムは、Oracle で最悪のグループ精度を達成し、OOD の一般化における長年の課題に対処します。
コードは \url{https://github.com/facebookresearch/XRM} で入手できます。

要約(オリジナル)

Environment annotations are essential for the success of many out-of-distribution (OOD) generalization methods. Unfortunately, these are costly to obtain and often limited by human annotators’ biases. To achieve robust generalization, it is essential to develop algorithms for automatic environment discovery within datasets. Current proposals, which divide examples based on their training error, suffer from one fundamental problem. These methods introduce hyper-parameters and early-stopping criteria, which require a validation set with human-annotated environments, the very information subject to discovery. In this paper, we propose Cross-Risk-Minimization (XRM) to address this issue. XRM trains twin networks, each learning from one random half of the training data, while imitating confident held-out mistakes made by its sibling. XRM provides a recipe for hyper-parameter tuning, does not require early-stopping, and can discover environments for all training and validation data. Algorithms built on top of XRM environments achieve oracle worst-group-accuracy, addressing a long-standing challenge in OOD generalization. Code available at \url{https://github.com/facebookresearch/XRM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google