Long-tailed Classification from a Bayesian-decision-theory Perspective

要約

ロングテール分類は、クラスの確率の大きな不均衡と、非対称の誤予測コストによるテール感度のリスクにより、課題をもたらします。
最近の試みでは、損失の再調整とアンサンブル手法が使用されていますが、それらは主にヒューリスティックであり、経験的な結果に大きく依存しており、理論的な説明が不足しています。
さらに、既存の方法では、テーリング クラスに関連するさまざまなコストを特徴付ける決定損失が見落とされます。
このホワイト ペーパーでは、ベイズ決定理論の観点から、一般的かつ原則的なフレームワークを提示します。これは、リバランス法やアンサンブル法を含む既存の手法を統合し、その有効性に対する理論的な正当化を提供します。
この観点から、すべてのクラス、特に「テール」の精度を向上させるために、統合リスクとベイズ ディープ アンサンブル アプローチに基づく新しい目標を導き出します。
さらに、私たちのフレームワークは、不確実性を定量化する機能とともに、さまざまなタスク シナリオで最適な意思決定を提供するタスク適応型意思決定損失を可能にします。
最後に、標準分類、新しい False Head Rate メトリックを使用したテールセンシティブ分類、キャリブレーション、アブレーション研究など、包括的な実験を行います。
私たちのフレームワークは、ImageNet のような大規模な実世界のデータセットでも、現在の SOTA を大幅に改善します。

要約(オリジナル)

Long-tailed classification poses a challenge due to its heavy imbalance in class probabilities and tail-sensitivity risks with asymmetric misprediction costs. Recent attempts have used re-balancing loss and ensemble methods, but they are largely heuristic and depend heavily on empirical results, lacking theoretical explanation. Furthermore, existing methods overlook the decision loss, which characterizes different costs associated with tailed classes. This paper presents a general and principled framework from a Bayesian-decision-theory perspective, which unifies existing techniques including re-balancing and ensemble methods, and provides theoretical justifications for their effectiveness. From this perspective, we derive a novel objective based on the integrated risk and a Bayesian deep-ensemble approach to improve the accuracy of all classes, especially the “tail’. Besides, our framework allows for task-adaptive decision loss which provides provably optimal decisions in varying task scenarios, along with the capability to quantify uncertainty. Finally, We conduct comprehensive experiments, including standard classification, tail-sensitive classification with a new False Head Rate metric, calibration, and ablation studies. Our framework significantly improves the current SOTA even on large-scale real-world datasets like ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google