Functional Risk Minimization

要約

機械学習の分野は 1970 年代から大きく変化しました。
ただし、その最も基本的な原則である経験的リスク最小化 (ERM) は変わりません。
私たちは、出力ではなく損失を機能と比較する一般的なフレームワークである機能リスク最小化~(FRM)を提案します。
これにより、教師あり実験、教師なし実験、および RL 実験のパフォーマンスが向上します。
FRM パラダイムでは、各データ点 $(x_i,y_i)$ に、それに適合する関数 $f_{\theta_i}$ があります: $y_i = f_{\theta_i}(x_i)$。
これにより、FRM は多くの一般的な損失関数の ERM を組み込み、より現実的なノイズ プロセスをキャプチャできるようになります。
また、FRM が、トレーニング データに適合する最も単純なモデルを見つけることを目的とすることができるため、現代の過剰パラメータ化領​​域における一般化を理解するための手段を提供することも示します。

要約(オリジナル)

The field of Machine Learning has changed significantly since the 1970s. However, its most basic principle, Empirical Risk Minimization (ERM), remains unchanged. We propose Functional Risk Minimization~(FRM), a general framework where losses compare functions rather than outputs. This results in better performance in supervised, unsupervised, and RL experiments. In the FRM paradigm, for each data point $(x_i,y_i)$ there is function $f_{\theta_i}$ that fits it: $y_i = f_{\theta_i}(x_i)$. This allows FRM to subsume ERM for many common loss functions and to capture more realistic noise processes. We also show that FRM provides an avenue towards understanding generalization in the modern over-parameterized regime, as its objective can be framed as finding the simplest model that fits the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google