A Data-Driven Measure of Relative Uncertainty for Misclassification Detection

要約

誤分類の検出は、モデルの予測が信頼できない事例を特定することができるため、機械学習における重要な問題である。しかし、シャノンエントロピーなどの従来の不確実性尺度は、モデルの予測に関連する真の不確実性を推論する有効な方法を提供しない。本論文では、誤分類検出のために、観察者に対する相対的な不確実性のデータ駆動型の新しい尺度を紹介する。ソフト予測の分布のパターンを学習することにより、我々の不確実性尺度は、予測されたクラス確率に基づいて誤分類されたサンプルを特定することができる。興味深いことに、提案した尺度によれば、誤分類されたインスタンスに対応するソフト予測は、たとえシャノンエントロピーが低くても、大きな不確実性を持ちうるということである。我々は、複数の画像分類タスクにおいて、最先端の誤分類検出法を凌駕する経験的な改善を実証する。

要約(オリジナル)

Misclassification detection is an important problem in machine learning, as it allows for the identification of instances where the model’s predictions are unreliable. However, conventional uncertainty measures such as Shannon entropy do not provide an effective way to infer the real uncertainty associated with the model’s predictions. In this paper, we introduce a novel data-driven measure of relative uncertainty to an observer for misclassification detection. By learning patterns in the distribution of soft-predictions, our uncertainty measure can identify misclassified samples based on the predicted class probabilities. Interestingly, according to the proposed measure, soft-predictions that correspond to misclassified instances can carry a large amount of uncertainty, even though they may have low Shannon entropy. We demonstrate empirical improvements over multiple image classification tasks, outperforming state-of-the-art misclassification detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL