Derivative-based regularization for regression

要約

この研究では、多変数回帰問題における正則化への新しいアプローチを紹介します。
DLoss と呼ばれる私たちの正規化器は、モデルの導関数とトレーニング データから推定されたデータ生成関数の導関数との間の差異にペナルティを与えます。
これらの推定された導関数をデータ導関数と呼びます。
私たちの方法の目標は、ターゲット値の観点だけでなく、関連する導関数の観点でも、モデルをデータに合わせて調整することです。
データ導関数を推定するには、最近傍選択またはランダム選択を使用して、(トレーニング データから) 入力値ペアの 2 タプルを選択します。
合成データセットと実際のデータセットについて、標準の平均二乗誤差損失に異なる重みを付けて DLoss を追加する有効性を評価します。
実験結果は、DLoss (最近傍選択を使用) を使用すると、正則化なし、L2 正則化、およびドロップアウトと比較して、検証データ セットの MSE に関して平均して最高のランクが得られることを示しています。

要約(オリジナル)

In this work, we introduce a novel approach to regularization in multivariable regression problems. Our regularizer, called DLoss, penalises differences between the model’s derivatives and derivatives of the data generating function as estimated from the training data. We call these estimated derivatives data derivatives. The goal of our method is to align the model to the data, not only in terms of target values but also in terms of the derivatives involved. To estimate data derivatives, we select (from the training data) 2-tuples of input-value pairs, using either nearest neighbour or random, selection. On synthetic and real datasets, we evaluate the effectiveness of adding DLoss, with different weights, to the standard mean squared error loss. The experimental results show that with DLoss (using nearest neighbour selection) we obtain, on average, the best rank with respect to MSE on validation data sets, compared to no regularization, L2 regularization, and Dropout.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google