Learning Towards the Largest Margins

要約

深層学習ベースの分類における特徴表現の主な課題の1つは、強力な識別力を示す適切な損失関数の設計です。
古典的なソフトマックス損失は、特徴の識別学習を明示的に奨励しません。
研究の一般的な方向性は、クラス内のコンパクトさとクラス間の分離可能性を強化するために、確立された損失にマージンを組み込むことですが、厳密な数学的原理ではなく、ヒューリスティックな手段によって開発されました。
この作業では、最大のマージンに向けて学習することとして、原則的な最適化の目的を定式化することにより、この制限に対処しようとします。
具体的には、まずクラスマージンをクラス間分離可能性の尺度として定義し、サンプルマージンをクラス内コンパクト性の尺度として定義します。
したがって、特徴の識別表現を促進するために、損失関数は、クラスとサンプルの両方で可能な限り最大のマージンを促進する必要があります。
さらに、既存の証拠金ベースの損失の一般的な結論を引き出すために、一般化された証拠金ソフトマックス損失を導き出します。
この原則的なフレームワークは、既存の証拠金ベースの損失を理解および解釈するための新しい視点を提供するだけでなく、サンプル証拠金の正則化やクラスバランスのとれた場合の最大証拠金ソフトマックス損失など、新しいツールの設計を導くことができる新しい洞察も提供します。
クラスが不均衡な場合のゼロ重心正則化。
実験結果は、視覚的分類、不均衡な分類、人物の再識別、顔の検証など、さまざまなタスクに対する戦略の有効性を示しています。

要約(オリジナル)

One of the main challenges for feature representation in deep learning-based classification is the design of appropriate loss functions that exhibit strong discriminative power. The classical softmax loss does not explicitly encourage discriminative learning of features. A popular direction of research is to incorporate margins in well-established losses in order to enforce extra intra-class compactness and inter-class separability, which, however, were developed through heuristic means, as opposed to rigorous mathematical principles. In this work, we attempt to address this limitation by formulating the principled optimization objective as learning towards the largest margins. Specifically, we firstly define the class margin as the measure of inter-class separability, and the sample margin as the measure of intra-class compactness. Accordingly, to encourage discriminative representation of features, the loss function should promote the largest possible margins for both classes and samples. Furthermore, we derive a generalized margin softmax loss to draw general conclusions for the existing margin-based losses. Not only does this principled framework offer new perspectives to understand and interpret existing margin-based losses, but it also provides new insights that can guide the design of new tools, including sample margin regularization and largest margin softmax loss for the class-balanced case, and zero-centroid regularization for the class-imbalanced case. Experimental results demonstrate the effectiveness of our strategy on a variety of tasks, including visual classification, imbalanced classification, person re-identification, and face verification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google