OpenMix: Exploring Outlier Samples for Misclassification Detection

要約

タイトル：OpenMix：誤分類検出のためのアウトライアーサンプルの探索

– 高いリスクを伴うアプリケーションでは、頼りになる信頼推定が必須であるが、現代の深層学習ネットワークはしばしば誤った予測に対して過信してしまう。
– 本研究では、非ターゲットクラスからのラベルのないサンプルであるアウトライアーサンプルを活用して、誤分類エラーを検出することを試みた。
– 特に、未知のクラスからのアウトオブディストリビューション（OOD）サンプルを検出するのに強いOutlier Exposure は、誤分類エラーの識別には何ら恩恵を与えないことが分かった。
– これらの観察に基づき、アウトライアー変換によって生成された不確実な疑似サンプルを拒否学習することでオープンワールド知識を統合する独創的な方法であるOpenMixを提案した。
– OpenMixは、既知クラスからの誤分類サンプルと未知クラスからのOODサンプルの両方を検出するための強力で統一されたフレームワークを確立し、さまざまなシナリオで信頼性を大幅に向上させる。コードは公開されている。https://github.com/Impression2805/OpenMix。

要約(オリジナル)

Reliable confidence estimation for deep neural classifiers is a challenging yet fundamental requirement in high-stakes applications. Unfortunately, modern deep neural networks are often overconfident for their erroneous predictions. In this work, we exploit the easily available outlier samples, i.e., unlabeled samples coming from non-target classes, for helping detect misclassification errors. Particularly, we find that the well-known Outlier Exposure, which is powerful in detecting out-of-distribution (OOD) samples from unknown classes, does not provide any gain in identifying misclassification errors. Based on these observations, we propose a novel method called OpenMix, which incorporates open-world knowledge by learning to reject uncertain pseudo-samples generated via outlier transformation. OpenMix significantly improves confidence reliability under various scenarios, establishing a strong and unified framework for detecting both misclassified samples from known classes and OOD samples from unknown classes. The code is publicly available at https://github.com/Impression2805/OpenMix.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI