Dissecting Out-of-Distribution Detection and Open-Set Recognition: A Critical Analysis of Methods and Benchmarks

要約

テスト時間の分布シフトの検出は、機械学習モデルを安全に導入するための重要な機能として浮上しており、近年、この問題はさまざまな装いで取り組まれています。
このペーパーでは、コミュニティ内の 2 つの最大のサブフィールドである配布外 (OOD) 検出とオープンセット認識 (OSR) の統合的なビューを提供することを目的としています。
特に、さまざまな設定におけるさまざまな手法の厳密な実証分析を提供し、実践者や研究者に実用的な教訓を提供することを目指しています。
具体的には、次のような貢献を行っています。(i) OOD 検出と OSR 設定における最先端の手法の間で厳密な相互評価を実行し、それらの手法のパフォーマンス間の強い相関関係を特定します。
(ii) OOD 検出と OSR が取り組む問題をより適切に解きほぐす、新しい大規模なベンチマーク設定を提案し、この設定で最先端の OOD 検出と OSR 手法を再評価します。
(iii) 驚くべきことに、標準ベンチマーク (外れ値露出) で最高のパフォーマンスを発揮する方法は、大規模なテストでは困難を極める一方、深い特徴の大きさに敏感なスコアリング ルールは一貫して有望であることがわかりました。
(iv) これらの現象を説明し、将来の研究の方向性を明らかにするために実証分析を行います。
コード: \url{https://github.com/Visual-AI/Dissect-OOD-OSR}

要約(オリジナル)

Detecting test-time distribution shift has emerged as a key capability for safely deployed machine learning models, with the question being tackled under various guises in recent years. In this paper, we aim to provide a consolidated view of the two largest sub-fields within the community: out-of-distribution (OOD) detection and open-set recognition (OSR). In particular, we aim to provide rigorous empirical analysis of different methods across settings and provide actionable takeaways for practitioners and researchers. Concretely, we make the following contributions: (i) We perform rigorous cross-evaluation between state-of-the-art methods in the OOD detection and OSR settings and identify a strong correlation between the performances of methods for them; (ii) We propose a new, large-scale benchmark setting which we suggest better disentangles the problem tackled by OOD detection and OSR, re-evaluating state-of-the-art OOD detection and OSR methods in this setting; (iii) We surprisingly find that the best performing method on standard benchmarks (Outlier Exposure) struggles when tested at scale, while scoring rules which are sensitive to the deep feature magnitude consistently show promise; and (iv) We conduct empirical analysis to explain these phenomena and highlight directions for future research. Code: \url{https://github.com/Visual-AI/Dissect-OOD-OSR}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google