要約
従来の機械学習は、トレーニング セットとテスト セットが同じラベル スペースを共有するという密接なセットの仮定に従います。
多くの実用的なシナリオでは、一部のテスト サンプルが未知のクラス (オープン セット) に属することは避けられません。
この問題を解決するために、クローズ セット サンプルとオープン セット サンプルの両方で正しい予測を行うことを目標とする Open-Set Recognition (OSR) が注目を集めています。
この方向では、文献の大部分がオープン セット サンプルのパターンに焦点を当てています。
ただし、この困難なタスクでモデルのパフォーマンスを評価する方法はまだ解決されていません。
このホワイト ペーパーでは、体系的な分析により、ほとんどの既存のメトリックが前述の OSR の目標と本質的に矛盾していることが明らかになりました。
貧弱なオープン セット予測は、優れたクローズ セット予測で低いパフォーマンス スコアから逃れることができます。
(2) クローズ セットとオープン セットのサンプル間のランキング パフォーマンスを測定するノベルティ検出 AUC は、クローズ セットのパフォーマンスを無視します。
これらの問題を解決するために、OpenAUC という新しいメトリックを提案します。
既存のメトリクスと比較すると、OpenAUC は、オープン セットのパフォーマンスとクローズ セットのパフォーマンスを結合して評価する簡潔なペアワイズ定式化を楽しんでいます。
さらに分析すると、OpenAUC には前述の矛盾した特性がないことがわかります。
最後に、OpenAUC のリスクを最小限に抑えるためのエンドツーエンドの学習方法が提案されており、一般的なベンチマーク データセットでの実験結果がその有効性を物語っています。
プロジェクトページ: https://github.com/wang22ti/OpenAUC.
要約(オリジナル)
Traditional machine learning follows a close-set assumption that the training and test set share the same label space. While in many practical scenarios, it is inevitable that some test samples belong to unknown classes (open-set). To fix this issue, Open-Set Recognition (OSR), whose goal is to make correct predictions on both close-set samples and open-set samples, has attracted rising attention. In this direction, the vast majority of literature focuses on the pattern of open-set samples. However, how to evaluate model performance in this challenging task is still unsolved. In this paper, a systematic analysis reveals that most existing metrics are essentially inconsistent with the aforementioned goal of OSR: (1) For metrics extended from close-set classification, such as Open-set F-score, Youden’s index, and Normalized Accuracy, a poor open-set prediction can escape from a low performance score with a superior close-set prediction. (2) Novelty detection AUC, which measures the ranking performance between close-set and open-set samples, ignores the close-set performance. To fix these issues, we propose a novel metric named OpenAUC. Compared with existing metrics, OpenAUC enjoys a concise pairwise formulation that evaluates open-set performance and close-set performance in a coupling manner. Further analysis shows that OpenAUC is free from the aforementioned inconsistency properties. Finally, an end-to-end learning method is proposed to minimize the OpenAUC risk, and the experimental results on popular benchmark datasets speak to its effectiveness. Project Page: https://github.com/wang22ti/OpenAUC.
arxiv情報
| 著者 | Zitai Wang,Qianqian Xu,Zhiyong Yang,Yuan He,Xiaochun Cao,Qingming Huang |
| 発行日 | 2023-02-22 07:30:20+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google