Hierarchical classification at multiple operating points

要約

多くの分類問題は、階層を形成するクラスを考慮します。
この階層を認識している分類子は、細かいレベルでは不確実であるにもかかわらず、大まかなレベルで信頼できる予測を行うことができる場合があります。
一般に、推論時にしきい値を使用して予測の粒度を変えることは可能ですが、最新の研究のほとんどはリーフノード予測のみを考慮しており、複数の操作点で方法を比較した先行研究はほとんどありません。
階層内のすべてのクラスにスコアを割り当てる任意のメソッドの動作特性曲線を生成する効率的なアルゴリズムを提示します。
この手法を適用して既存の方法を評価すると、トップダウン分類器は、動作範囲全体にわたって単純なフラット ソフトマックス分類器によって支配されていることが明らかになります。
さらに、2 つの新しい損失関数を提案し、構造化されたヒンジ損失のソフト バリアントがフラットなベースラインよりも大幅に優れていることを示します。
最後に、トップダウン分類器の精度の低さを調査し、見えないクラスで比較的うまく機能することを示します。
コードは、https://github.com/jvlmdr/hiercls でオンラインで入手できます。

要約(オリジナル)

Many classification problems consider classes that form a hierarchy. Classifiers that are aware of this hierarchy may be able to make confident predictions at a coarse level despite being uncertain at the fine-grained level. While it is generally possible to vary the granularity of predictions using a threshold at inference time, most contemporary work considers only leaf-node prediction, and almost no prior work has compared methods at multiple operating points. We present an efficient algorithm to produce operating characteristic curves for any method that assigns a score to every class in the hierarchy. Applying this technique to evaluate existing methods reveals that top-down classifiers are dominated by a naive flat softmax classifier across the entire operating range. We further propose two novel loss functions and show that a soft variant of the structured hinge loss is able to significantly outperform the flat baseline. Finally, we investigate the poor accuracy of top-down classifiers and demonstrate that they perform relatively well on unseen classes. Code is available online at https://github.com/jvlmdr/hiercls.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google