Unimodal Distributions for Ordinal Regression

要約

多くの現実世界の予測タスクでは、クラス ラベルには、マルチカテゴリ クロス エントロピーなどの一般的に使用される損失関数では取得されないラベル間の相対的な順序に関する情報が含まれています。
最近では、出力空間での単峰性分布の優先度がモデルと損失関数に組み込まれ、そのような順序付け情報が考慮されています。
ただし、現在のアプローチは、理論的基盤を欠くヒューリスティックに依存しています。
ここでは、単峰性分布の好みを予測モデルに組み込むための 2 つの新しいアプローチを提案します。
確率シンプレックスのユニモーダル分布のセットを分析し、基本的な特性を確立します。
次に、単峰分布を課す新しいアーキテクチャと、単峰性を促進するためにセット内の射影の概念に依存する新しい損失項を提案します。
実験は、新しいアーキテクチャがトップ 2 のパフォーマンスを達成することを示していますが、提案された新しい損失項は、高い単一モードを維持しながら非常に競争力があります。

要約(オリジナル)

In many real-world prediction tasks, class labels contain information about the relative order between labels that are not captured by commonly used loss functions such as multicategory cross-entropy. Recently, the preference for unimodal distributions in the output space has been incorporated into models and loss functions to account for such ordering information. However, current approaches rely on heuristics that lack a theoretical foundation. Here, we propose two new approaches to incorporate the preference for unimodal distributions into the predictive model. We analyse the set of unimodal distributions in the probability simplex and establish fundamental properties. We then propose a new architecture that imposes unimodal distributions and a new loss term that relies on the notion of projection in a set to promote unimodality. Experiments show the new architecture achieves top-2 performance, while the proposed new loss term is very competitive while maintaining high unimodality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google