Robust Capped lp-Norm Support Vector Ordinal Regression

要約

順序回帰は、ラベルが固有の順序を示す特殊な教師付き問題です。
この順序により、通常の複数クラスの問題とは区別されます。
サポート ベクター順序回帰は、優れた順序回帰モデルとして、多くの順序回帰タスクで広く使用されています。
ただし、ほとんどの教師あり学習アルゴリズムと同様、SVOR の設計はトレーニング データが本物で信頼できるという前提に基づいており、現実世界のデータではこれを満たすことが困難です。
多くの実際のアプリケーションでは、トレーニング セットに外れ値が頻繁に存在し、パフォーマンスが最適化されないなど、学習プロセスを誤った方向に導く可能性があります。
この論文では、軽い外れ値と重い外れ値の両方に対して理論的に堅牢な、新しい上限付き $\ell_{p}$-norm 損失関数を提案します。
上限のある $\ell_{p}$-norm 損失は、モデルがトレーニング プロセス中に外れ値を検出して除去するのに役立ちます。
この概念に従って、外れ値に対して堅牢な新しいモデル Capped $\ell_{p}$-Norm Support Vector Ordinal Regression(CSVOR) を導入します。
CSVOR は、重み行列を使用してトレーニング プロセス中に外れ値を検出して除去し、外れ値に対する堅牢性を向上させます。
さらに、対応する問題を効果的に最小化するために、理論的結果によって収束を示す再重み付けアルゴリズムアルゴリズムが提案されています。
広範な実験結果は、特に外れ値が存在する場合に、私たちのモデルが最先端 (SOTA) 手法よりも優れていることを示しています。

要約(オリジナル)

Ordinal regression is a specialized supervised problem where the labels show an inherent order. The order distinguishes it from normal multi-class problem. Support Vector Ordinal Regression, as an outstanding ordinal regression model, is widely used in many ordinal regression tasks. However, like most supervised learning algorithms, the design of SVOR is based on the assumption that the training data are real and reliable, which is difficult to satisfy in real-world data. In many practical applications, outliers are frequently present in the training set, potentially leading to misguide the learning process, such that the performance is non-optimal. In this paper, we propose a novel capped $\ell_{p}$-norm loss function that is theoretically robust to both light and heavy outliers. The capped $\ell_{p}$-norm loss can help the model detect and eliminate outliers during training process. Adhering to this concept, we introduce a new model, Capped $\ell_{p}$-Norm Support Vector Ordinal Regression(CSVOR), that is robust to outliers. CSVOR uses a weight matrix to detect and eliminate outliers during the training process to improve the robustness to outliers. Moreover, a Re-Weighted algorithm algorithm which is illustrated convergence by our theoretical results is proposed to effectively minimize the corresponding problem. Extensive experimental results demonstrate that our model outperforms state-of-the-art(SOTA) methods, particularly in the presence of outliers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google