A Call to Reflect on Evaluation Practices for Failure Detection in Image Classification

要約

タイトル：画像分類における失敗検出の評価方法について考える呼びかけ

要約：
– 現在、機械学習ベースの決定システムの実世界での信頼性の確保は、研究の主要な課題の一つである。
– モデルの予測の不確実性を数値化すること、明示的なスコアリング関数を学習すること、または入力がトレーニング分布に沿っているかどうかを評価することによって、主に信頼性スコアを割り当てることによって、誤った予測を検出することを目的とした多くのアプローチが確立されている。
– しかし、これらのアプローチは、同じ最終的な目標を持ちながら、まったく異なる評価プロトコルを持つ個別の研究分野を構成している。
– 現在の評価方法の不一致によって引き起こされる現在の落とし穴を明らかにし、失敗検出の包括的かつ現実的な評価のための要件を導き出す。
– これらのトピックを包括的に評価するために、大規模な実証研究を行い、すべての関連する方法と失敗源に関して信頼性スコアリング関数をベンチマーク化する。
– 現在公開されている信頼性スコアリング研究の豊富さにもかかわらず、シンプルなソフトマックス応答が最も優れたパフォーマンスを発揮するという結果が得られた。

要約(オリジナル)

Reliable application of machine learning-based decision systems in the wild is one of the major challenges currently investigated by the field. A large portion of established approaches aims to detect erroneous predictions by means of assigning confidence scores. This confidence may be obtained by either quantifying the model’s predictive uncertainty, learning explicit scoring functions, or assessing whether the input is in line with the training distribution. Curiously, while these approaches all state to address the same eventual goal of detecting failures of a classifier upon real-life application, they currently constitute largely separated research fields with individual evaluation protocols, which either exclude a substantial part of relevant methods or ignore large parts of relevant failure sources. In this work, we systematically reveal current pitfalls caused by these inconsistencies and derive requirements for a holistic and realistic evaluation of failure detection. To demonstrate the relevance of this unified perspective, we present a large-scale empirical study for the first time enabling benchmarking confidence scoring functions w.r.t all relevant methods and failure sources. The revelation of a simple softmax response baseline as the overall best performing method underlines the drastic shortcomings of current evaluation in the abundance of publicized research on confidence scoring. Code and trained models are at https://github.com/IML-DKFZ/fd-shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI