Harnessing Superclasses for Learning from Hierarchical Databases

要約

多くの大規模な分類問題では、クラスは既知の階層で編成され、通常はスーパークラスへのクラスの包含を表すツリーとして表されます。
このタイプの教師付き階層分類には損失が導入されます。
階層の知識を利用して、各例をクラスだけでなく、それを含むすべてのスーパークラスにも割り当てます。
ソフトマックス出力層を備えたあらゆるフィードフォワード アーキテクチャに適用でき、この損失は、その期待値が真の事後クラス確率によって最小化されるという点で、適切なスコアリング ルールとなります。
この特性により、スーパークラスと粒度の細かいクラスの間で一貫した分類目標を同時に追求できるようになり、異なる粒度間のパフォーマンスのトレードオフの必要がなくなります。
私たちは 3 つの参照ベンチマークで実験的研究を実施し、さまざまな学習シナリオをカバーするためにトレーニング セットのサイズを変更します。
私たちのアプローチは、クロスエントロピーの損失と比較して、大幅な追加の計算コストを必要としません。
これにより、ツリー内のグラウンド トゥルース ラベルから離れた予測ラベルが得られるため、精度が向上し、粗いエラーの数が減少します。

要約(オリジナル)

In many large-scale classification problems, classes are organized in a known hierarchy, typically represented as a tree expressing the inclusion of classes in superclasses. We introduce a loss for this type of supervised hierarchical classification. It utilizes the knowledge of the hierarchy to assign each example not only to a class but also to all encompassing superclasses. Applicable to any feedforward architecture with a softmax output layer, this loss is a proper scoring rule, in that its expectation is minimized by the true posterior class probabilities. This property allows us to simultaneously pursue consistent classification objectives between superclasses and fine-grained classes, and eliminates the need for a performance trade-off between different granularities. We conduct an experimental study on three reference benchmarks, in which we vary the size of the training sets to cover a diverse set of learning scenarios. Our approach does not entail any significant additional computational cost compared with the loss of cross-entropy. It improves accuracy and reduces the number of coarse errors, with predicted labels that are distant from ground-truth labels in the tree.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google