Deep Simplex Classifier for Maximizing the Margin in Both Euclidean and Angular Spaces

要約

深層ニューラル ネットワーク分類器で使用される分類損失関数は、ユークリッド空間または角度空間のいずれかでマージンを最大化することに基づいて、2 つのカテゴリにグループ化できます。
サンプル ベクトル間のユークリッド距離は、ユークリッド空間のマージンを最大化する方法の分類中に使用されますが、コサイン類似度距離は、角度空間のマージンを最大化する方法のテスト段階で使用されます。
この論文では、ユークリッド空間と角度空間の両方で同時にマージンを最大化する新しい分類損失を紹介します。
このようにして、ユークリッド距離とコサイン距離は同様の一貫した結果を生成し、互いに補完し合うため、精度が向上します。
提案された損失関数は、クラスのサンプルをそれらを表す中心の周りにクラスター化することを強制します。
クラスを近似する中心は超球の境界から選択され、クラスの中心間のペアごとの距離は常に等しくなります。
この制限は、正単体の頂点から中心を選択することに対応しています。
提案された損失関数には、ユーザーが設定しなければならないハイパーパラメータはありません。したがって、提案された方法の使用は、古典的な分類問題に対して非常に簡単です。
さらに、クラス サンプルは対応する平均値の周りにコンパクトにクラスター化されるため、提案された分類器は、トレーニング フェーズでは見られない未知のクラスからテスト サンプルを取得できるオープン セット認識問題にも非常に適しています。
実験的研究は、提案された方法が、その単純さにもかかわらず、開集合認識で最先端の精度を達成することを示しています。

要約(オリジナル)

The classification loss functions used in deep neural network classifiers can be grouped into two categories based on maximizing the margin in either Euclidean or angular spaces. Euclidean distances between sample vectors are used during classification for the methods maximizing the margin in Euclidean spaces whereas the Cosine similarity distance is used during the testing stage for the methods maximizing margin in the angular spaces. This paper introduces a novel classification loss that maximizes the margin in both the Euclidean and angular spaces at the same time. This way, the Euclidean and Cosine distances will produce similar and consistent results and complement each other, which will in turn improve the accuracies. The proposed loss function enforces the samples of classes to cluster around the centers that represent them. The centers approximating classes are chosen from the boundary of a hypersphere, and the pairwise distances between class centers are always equivalent. This restriction corresponds to choosing centers from the vertices of a regular simplex. There is not any hyperparameter that must be set by the user in the proposed loss function, therefore the use of the proposed method is extremely easy for classical classification problems. Moreover, since the class samples are compactly clustered around their corresponding means, the proposed classifier is also very suitable for open set recognition problems where test samples can come from the unknown classes that are not seen in the training phase. Experimental studies show that the proposed method achieves the state-of-the-art accuracies on open set recognition despite its simplicity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google