Invariant Risk Minimization Is A Total Variation Model

要約

不変リスク最小化 (IRM) は、機械学習におけるさまざまな環境に不変機能を一般化するためのアプローチとして登場しています。
ほとんどの関連研究は新しい IRM 設定または新しいアプリケーション シナリオに焦点を当てていますが、IRM の数学的本質はまだ適切に説明されていません。
IRM は本質的に、分類子変数に関する学習リスクの $L^2$ ノルム (TV-$\ell_2$) に基づく合計変動であることを検証します。
さらに、TV-$\ell_1$ モデルに基づいた新しい IRM フレームワークを提案します。
学習リスクおよび特徴抽出器として使用できる関数のクラスを拡張するだけでなく、coarea 公式に基づいたノイズ除去と不変特徴の保存において堅牢なパフォーマンスも備えています。
また、配布外の一般化を実現するための IRM-TV-$\ell_1$ のいくつかの要件についても説明します。
実験結果は、提案されたフレームワークがいくつかのベンチマーク機械学習シナリオで競争力のあるパフォーマンスを達成することを示しています。

要約(オリジナル)

Invariant risk minimization (IRM) is an arising approach to generalize invariant features to different environments in machine learning. While most related works focus on new IRM settings or new application scenarios, the mathematical essence of IRM remains to be properly explained. We verify that IRM is essentially a total variation based on $L^2$ norm (TV-$\ell_2$) of the learning risk with respect to the classifier variable. Moreover, we propose a novel IRM framework based on the TV-$\ell_1$ model. It not only expands the classes of functions that can be used as the learning risk and the feature extractor, but also has robust performance in denoising and invariant feature preservation based on the coarea formula. We also illustrate some requirements for IRM-TV-$\ell_1$ to achieve out-of-distribution generalization. Experimental results show that the proposed framework achieves competitive performance in several benchmark machine learning scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google