Cauchy Loss Function: Robustness Under Gaussian and Cauchy Noise

要約

教師あり機械学習では、損失関数の選択により、データ全体に特定のノイズ分布が暗黙的に想定されます。
たとえば、頻繁に使用される平均二乗誤差 (MSE) 損失は、ガウス ノイズ分布を前提としています。
トレーニングおよびテスト中の損失関数の選択は、人工ニューラル ネットワーク (ANN) のパフォーマンスに影響します。
外れ値が存在する場合、MSE は標準以下のパフォーマンスをもたらす可能性があることが知られています。
コーシー損失関数 (CLF) は、コーシー ノイズ分布を仮定しているため、外れ値のあるデータにより適している可能性があります。
この論文は、MSE と比較して、CLF の堅牢性と一般化の程度を判断することを目的としています。
CLF と MSE は、ANN トレーニングのコンテキストで、いくつかの手作りの回帰問題と、人為的にシミュレートされた外れ値を含む現実世界の回帰問題で評価されます。
CLF は、いくつかの注目すべき例外を除いて、MSE によって得られた結果と同等またはそれ以上の結果をもたらしました。

要約(オリジナル)

In supervised machine learning, the choice of loss function implicitly assumes a particular noise distribution over the data. For example, the frequently used mean squared error (MSE) loss assumes a Gaussian noise distribution. The choice of loss function during training and testing affects the performance of artificial neural networks (ANNs). It is known that MSE may yield substandard performance in the presence of outliers. The Cauchy loss function (CLF) assumes a Cauchy noise distribution, and is therefore potentially better suited for data with outliers. This papers aims to determine the extent of robustness and generalisability of the CLF as compared to MSE. CLF and MSE are assessed on a few handcrafted regression problems, and a real-world regression problem with artificially simulated outliers, in the context of ANN training. CLF yielded results that were either comparable to or better than the results yielded by MSE, with a few notable exceptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google