COOD: Combined out-of-distribution detection using multiple measures for anomaly & novel class detection in large-scale hierarchical classification

要約

異常と新規クラスの両方における、高性能の分布外 (OOD) 検出は、分類モデルを実際に使用するための重要な前提条件です。
この論文では、大規模なデータベース、多数のきめの細かい階層クラス、深刻なクラスの不均衡、および変動する画像品質に関係する画像における種認識タスクに焦点を当てます。
教師ありモデルを使用して、個々の OOD 測定値を 1 つの複合 OOD (COOD) 測定値に結合するためのフレームワークを提案します。
個々の対策は、いくつかの既存の最先端の対策と、新しいクラス検出と階層クラス構造を念頭に置いて開発されたいくつかの新しい OOD 対策です。
COOD は、異常および新規クラスの検出の観点から、3 つの大規模 (500k+ 画像) 生物多様性データセットで広範囲に評価されました。
COOD は、大部分の実験において、TPR@1% FPR の観点から、最先端の OOD 測定を含む個別の OOD 測定よりも大幅に優れていることを示しています。たとえば、ImageNet 画像 (OOD) の検出が 54.3% から 85.4% に向上しました。
iNaturalist 2018 データセットの場合は %。
SHAP (機能寄与) 分析では、さまざまなタスクには異なる個別の OOD 尺度が不可欠であることが示されており、一般化するには複数の OOD 尺度とその組み合わせが必要であることが示されています。
さらに、元の（種）認識タスクに対して誤って分類された ID 画像を明示的に考慮することが、高性能の OOD 検出方法を構築し、実用化するために重要であることを示します。
このフレームワークは、他のタスクやメディア モダリティに簡単に拡張または適合させることができます。

要約(オリジナル)

High-performing out-of-distribution (OOD) detection, both anomaly and novel class, is an important prerequisite for the practical use of classification models. In this paper, we focus on the species recognition task in images concerned with large databases, a large number of fine-grained hierarchical classes, severe class imbalance, and varying image quality. We propose a framework for combining individual OOD measures into one combined OOD (COOD) measure using a supervised model. The individual measures are several existing state-of-the-art measures and several novel OOD measures developed with novel class detection and hierarchical class structure in mind. COOD was extensively evaluated on three large-scale (500k+ images) biodiversity datasets in the context of anomaly and novel class detection. We show that COOD outperforms individual, including state-of-the-art, OOD measures by a large margin in terms of TPR@1% FPR in the majority of experiments, e.g., improving detecting ImageNet images (OOD) from 54.3% to 85.4% for the iNaturalist 2018 dataset. SHAP (feature contribution) analysis shows that different individual OOD measures are essential for various tasks, indicating that multiple OOD measures and combinations are needed to generalize. Additionally, we show that explicitly considering ID images that are incorrectly classified for the original (species) recognition task is important for constructing high-performing OOD detection methods and for practical applicability. The framework can easily be extended or adapted to other tasks and media modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google