Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities

要約

最近では、ディープ ニューラル ネットワークは、さまざまな分類およびパターン認識タスクで卓越した予測性能を達成しました。
ただし、多くの現実世界の予測問題には順序応答変数があり、この順序付け情報は、マルチカテゴリ クロス エントロピーなどの従来の分類損失によって無視されます。
ディープ ニューラル ネットワークの順序回帰法は、これに対処します。
そのような方法の 1 つは CORAL メソッドです。これは、以前のバイナリ ラベル拡張フレームワークに基づいており、重み共有制約を課すことによって、出力層タスク間のランクの一貫性を実現します。
ただし、以前の実験では、CORAL のランクの一貫性がパフォーマンスに有益であることが示されていましたが、{ニューラル ネットワークの完全に接続された出力層の重み共有制約によって制限されています。
この制限のないランク一貫性のある順序回帰の新しい方法を提案します。
ランク一貫性のある序数回帰フレームワーク (CORN) は、新しいトレーニング スキームによってランクの一貫性を実現します。
このトレーニング スキームでは、条件付きトレーニング セットを使用して、条件付き確率分布のチェーン ルールを適用することで、無条件の順位確率を取得します。
さまざまなデータセットでの実験は、序数のターゲット情報を利用するための提案された方法の有効性を実証し、重み共有制限がないことで、CORAL 参照アプローチと比較してパフォーマンスが大幅に向上します。

要約(オリジナル)

In recent times, deep neural networks achieved outstanding predictive performance on various classification and pattern recognition tasks. However, many real-world prediction problems have ordinal response variables, and this ordering information is ignored by conventional classification losses such as the multi-category cross-entropy. Ordinal regression methods for deep neural networks address this. One such method is the CORAL method, which is based on an earlier binary label extension framework and achieves rank consistency among its output layer tasks by imposing a weight-sharing constraint. However, while earlier experiments showed that CORAL’s rank consistency is beneficial for performance, {it is limited by a weight-sharing constraint in a neural network’s fully connected output layer. We propose a new method for rank-consistent ordinal regression without this limitation. Our rank-consistent ordinal regression framework (CORN) achieves rank consistency by a novel training scheme. This training scheme uses} conditional training sets to obtain the unconditional rank probabilities through applying the chain rule for conditional probability distributions. Experiments on various datasets demonstrate the efficacy of the proposed method to utilize the ordinal target information, and the absence of the weight-sharing restriction improves the performance substantially compared to the CORAL reference approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google