Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study

要約

分布の変化に対処することは、実際のタスクで適切なパフォーマンスを発揮するために転移学習法の重要な部分です。
ただし、この分野の既存のアプローチのほとんどは、データにノイズが含まれない理想的なシナリオに焦点を当てているか、分布の変化に対処するために複雑なトレーニング パラダイムやモデル設計を採用しています。
この論文では、非ガウス ノイズに対処するために統計的信号処理で広く使用されている目的である最小誤差エントロピー (MEE) 基準の堅牢性を再検討し、分布シフトが一般的である現実の転移学習回帰タスクにおけるその実現可能性と有用性を調査します。
具体的には、共変量シフトに対する MEE の堅牢性を示す新しい理論的結果を提案しました。
また、微調整や線形プロービングなどの基本的な転移学習アルゴリズムで平均二乗誤差 (MSE) 損失を MEE に置き換えるだけで、最先端の転移学習アルゴリズムと比較して競争力のあるパフォーマンスを達成できることも示します。
私たちは合成データと 5 つの現実世界の時系列データの両方について自分たちの議論を正当化します。

要約(オリジナル)

Coping with distributional shifts is an important part of transfer learning methods in order to perform well in real-life tasks. However, most of the existing approaches in this area either focus on an ideal scenario in which the data does not contain noises or employ a complicated training paradigm or model design to deal with distributional shifts. In this paper, we revisit the robustness of the minimum error entropy (MEE) criterion, a widely used objective in statistical signal processing to deal with non-Gaussian noises, and investigate its feasibility and usefulness in real-life transfer learning regression tasks, where distributional shifts are common. Specifically, we put forward a new theoretical result showing the robustness of MEE against covariate shift. We also show that by simply replacing the mean squared error (MSE) loss with the MEE on basic transfer learning algorithms such as fine-tuning and linear probing, we can achieve competitive performance with respect to state-of-the-art transfer learning algorithms. We justify our arguments on both synthetic data and 5 real-world time-series data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google