Top-$k$ Classification and Cardinality-Aware Prediction

要約

単一クラスの予測を超えて、入力に対して $k$ 最も可能性の高いクラスを予測するタスクである、top-$k$ 分類の詳細な研究を紹介します。
我々は、comp-sum や制約付き損失など、マルチクラス分類におけるいくつかの一般的な代理損失関数が、上位 $k$ 損失に関する $H$ 一貫性限界によってサポートされていることを示します。
これらの境界は、仮説セット $H$ に関する一貫性を保証し、非漸近的で仮説セット固有の性質により、ベイズの一貫性よりも強力な保証を提供します。
精度とカーディナリティ $k$ の間のトレードオフに対処するために、インスタンス依存のコスト重視の学習を通じてカーディナリティを意識した損失関数をさらに導入します。
これらの関数について、コストに敏感な計算合計と制約付き代理損失を導出し、その $H$ 一貫性限界とベイズ一貫性を確立します。
これらの損失を最小限に抑えることで、上位 $k$ の分類にカーディナリティを意識した新しいアルゴリズムが導入されます。
CIFAR-100、ImageNet、CIFAR-10、および SVHN データセットに関する広範な実験の結果を報告し、これらのアルゴリズムの有効性と利点を示します。

要約(オリジナル)

We present a detailed study of top-$k$ classification, the task of predicting the $k$ most probable classes for an input, extending beyond single-class prediction. We demonstrate that several prevalent surrogate loss functions in multi-class classification, such as comp-sum and constrained losses, are supported by $H$-consistency bounds with respect to the top-$k$ loss. These bounds guarantee consistency in relation to the hypothesis set $H$, providing stronger guarantees than Bayes-consistency due to their non-asymptotic and hypothesis-set specific nature. To address the trade-off between accuracy and cardinality $k$, we further introduce cardinality-aware loss functions through instance-dependent cost-sensitive learning. For these functions, we derive cost-sensitive comp-sum and constrained surrogate losses, establishing their $H$-consistency bounds and Bayes-consistency. Minimizing these losses leads to new cardinality-aware algorithms for top-$k$ classification. We report the results of extensive experiments on CIFAR-100, ImageNet, CIFAR-10, and SVHN datasets demonstrating the effectiveness and benefit of these algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google