Lai Loss: A Novel Loss Integrating Regularization

要約

機械学習の分野では、従来の正則化手法は一般に損失関数に正則化項を直接追加する傾向があります。
この論文では、単純な幾何学的な発想を通じて正則化項 (勾配成分) を従来の損失関数に統合する新しい損失設計である「Lai 損失」を紹介します。
この設計は、損失を通じて勾配ベクトルに革新的にペナルティを課し、モデルの滑らかさを効果的に制御し、オーバーフィッティングの削減とアンダーフィッティングの回避という 2 つの利点を提供します。
その後、私たちは、大規模なサンプル条件下での適用に伴う課題にうまく対処するランダム サンプリング法を提案しました。
Kaggle から公開されているデータセットを使用して予備実験を実施し、Lai 損失の設計により最大の精度を確保しながらモデルの滑らかさを制御できることを実証しました。

要約(オリジナル)

In the field of machine learning, traditional regularization methods generally tend to directly add regularization terms to the loss function. This paper introduces the ‘Lai loss’, a novel loss design that integrates the regularization terms (gradient component) into the traditional loss function through a straightforward geometric ideation. This design innovatively penalizes the gradient vectors through the loss, effectively controlling the model’s smoothness and offering the dual benefits of reducing overfitting and avoiding underfitting. Subsequently, we proposed a random sampling method that successfully addresses the challenges associated with its application under large sample conditions. We conducted preliminary experiments using publicly available datasets from Kaggle, demonstrating that the design of Lai loss can control the model’s smoothness while ensuring maximum accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google