RoBoSS: A Robust, Bounded, Sparse, and Smooth Loss Function for Supervised Learning

要約

機械学習アルゴリズムの領域では、特に教師あり学習タスクにおいて、損失関数の重要性が最も重要です。
これは、教師あり学習アルゴリズムの動作と有効性に大きな影響を与える基本的な柱として機能します。
従来の損失関数は広く使用されていますが、多くの場合、ノイズの多い高次元データの処理に苦労し、モデルの解釈性を妨げ、トレーニング中の収束の遅さにつながります。
この論文では、教師あり学習用の新しいロバスト、有界、スパース、スムーズ (RoBoSS) 損失関数を提案することで、前述の制約に対処します。
さらに、サポート ベクター マシン (SVM) のフレームワーク内に RoBoSS 損失関数を組み込み、$\mathcal{L}_{rbss}$-SVM という名前の新しい堅牢なアルゴリズムを導入します。
理論的分析のために、分類によって調整された特性と一般化能力も提示されます。
これらの調査は、分類タスクにおける RoBoSS 損失関数のパフォーマンスと、目に見えないデータまで一般化する可能性について、より深い洞察を得るために重要です。
提案された $\mathcal{L}_{rbss}$-SVM の有効性を実証するために、さまざまなドメインからの $88$ 現実世界の UCI および KEEL データセットでそれを評価します。
さらに、生物医学分野における提案された $\mathcal{L}_{rbss}$-SVM の有効性を実証するために、脳波 (EEG) 信号データセットと乳がん (BreaKHis) データセットという 2 つの医療データセットでそれを評価しました。
。
数値結果は、提案された $\mathcal{L}_{rbss}$-SVM モデルの優れた点を、その顕著な汎化パフォーマンスと学習時間の効率の両方の点で実証しています。

要約(オリジナル)

In the domain of machine learning algorithms, the significance of the loss function is paramount, especially in supervised learning tasks. It serves as a fundamental pillar that profoundly influences the behavior and efficacy of supervised learning algorithms. Traditional loss functions, while widely used, often struggle to handle noisy and high-dimensional data, impede model interpretability, and lead to slow convergence during training. In this paper, we address the aforementioned constraints by proposing a novel robust, bounded, sparse, and smooth (RoBoSS) loss function for supervised learning. Further, we incorporate the RoBoSS loss function within the framework of support vector machine (SVM) and introduce a new robust algorithm named $\mathcal{L}_{rbss}$-SVM. For the theoretical analysis, the classification-calibrated property and generalization ability are also presented. These investigations are crucial for gaining deeper insights into the performance of the RoBoSS loss function in the classification tasks and its potential to generalize well to unseen data. To empirically demonstrate the effectiveness of the proposed $\mathcal{L}_{rbss}$-SVM, we evaluate it on $88$ real-world UCI and KEEL datasets from diverse domains. Additionally, to exemplify the effectiveness of the proposed $\mathcal{L}_{rbss}$-SVM within the biomedical realm, we evaluated it on two medical datasets: the electroencephalogram (EEG) signal dataset and the breast cancer (BreaKHis) dataset. The numerical results substantiate the superiority of the proposed $\mathcal{L}_{rbss}$-SVM model, both in terms of its remarkable generalization performance and its efficiency in training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google