HYPO: Hyperspherical Out-of-Distribution Generalization

要約

Out-of-distribution (OOD) 一般化は、現実世界に展開される機械学習モデルにとって重要です。
ただし、これを達成するには、さまざまなドメインまたは環境にわたって不変の特徴を学習する能力が必要であるため、根本的に困難になる可能性があります。
この論文では、超球面空間におけるドメイン不変表現を証明可能に学習する新しいフレームワーク HYPO (HYPerspherical OOD Generalization) を提案します。
特に、私たちの超球状学習アルゴリズムは、クラス内変動とクラス間分離の原則によって導かれます。これにより、（異なるトレーニング ドメインにわたる）同じクラスの特徴がそのクラス プロトタイプと緊密に連携する一方、異なるクラス プロトタイプは最大限に分離されることが保証されます。
。
さらに、プロトタイプの学習目標が OOD 一般化限界をどのように改善するかについて理論的根拠を提供します。
困難な OOD ベンチマークに関する広範な実験を通じて、当社のアプローチが競合ベースラインを上回り、優れたパフォーマンスを達成できることを実証しました。
コードは https://github.com/deeplearning-wisc/hypo で入手できます。

要約(オリジナル)

Out-of-distribution (OOD) generalization is critical for machine learning models deployed in the real world. However, achieving this can be fundamentally challenging, as it requires the ability to learn invariant features across different domains or environments. In this paper, we propose a novel framework HYPO (HYPerspherical OOD generalization) that provably learns domain-invariant representations in a hyperspherical space. In particular, our hyperspherical learning algorithm is guided by intra-class variation and inter-class separation principles — ensuring that features from the same class (across different training domains) are closely aligned with their class prototypes, while different class prototypes are maximally separated. We further provide theoretical justifications on how our prototypical learning objective improves the OOD generalization bound. Through extensive experiments on challenging OOD benchmarks, we demonstrate that our approach outperforms competitive baselines and achieves superior performance. Code is available at https://github.com/deeplearning-wisc/hypo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google