要約
オープンセット認識(Open-set Recognition: OSR)は、学習過程で見たことのないクラスを持つテストサンプルを識別することを目的としている。近年，未知のクラスだけでなく，既知であるが誤って分類されたクラスも棄却するUnified Open-set Recognition (UOSR) が提案されており，実世界での応用においてより実用的である傾向がある．UOSRは提案以来あまり注目されていないが，既知であるが誤って分類された標本の評価結果も未知標本と同様に誤っているため，実世界のアプリケーションではOSRよりもさらに実用的であることが分かっている．本論文では、この有望な研究の方向性を明らかにするために、異なる学習・評価設定下でのUOSRタスクを深く分析する。そのために、まず、いくつかのOSR手法のUOSR性能を評価し、同じ手法であればUOSR性能は常にOSR性能を大きな差で上回るという重要な発見を示す。その理由は、既知だが誤って分類されたサンプルの不確実性分布が、既知で正しく分類されたサンプルではなく、未知のサンプルに極めて近いためであることを示す。次に、OSRの2つの学習設定（すなわち、事前学習と外れ値暴露）がUOSRにどのような影響を与えるかを分析する。その結果、事前学習は既知かつ正しく分類されたサンプルを未知サンプルと区別するのに有効であるが、異常値暴露は既知だが誤って分類されたサンプルを識別するのにも有効であることがわかった。また、UOSRの新しい評価方法として、未知サンプルを識別するために、未知クラスあたり1〜5個のサンプルしか評価時に利用できないfew-shot UOSRと呼ばれる学習設定も定式化した。本論文では、FS-KNNSをfew-shot UOSRに適用し、すべての設定において最先端の性能を達成することを提案する。
要約(オリジナル)
Open-set Recognition (OSR) aims to identify test samples whose classes are not seen during the training process. Recently, Unified Open-set Recognition (UOSR) has been proposed to reject not only unknown samples but also known but wrongly classified samples, which tends to be more practical in real-world applications. The UOSR draws little attention since it is proposed, but we find sometimes it is even more practical than OSR in the real world applications, as evaluation results of known but wrongly classified samples are also wrong like unknown samples. In this paper, we deeply analyze the UOSR task under different training and evaluation settings to shed light on this promising research direction. For this purpose, we first evaluate the UOSR performance of several OSR methods and show a significant finding that the UOSR performance consistently surpasses the OSR performance by a large margin for the same method. We show that the reason lies in the known but wrongly classified samples, as their uncertainty distribution is extremely close to unknown samples rather than known and correctly classified samples. Second, we analyze how the two training settings of OSR (i.e., pre-training and outlier exposure) influence the UOSR. We find although they are both beneficial for distinguishing known and correctly classified samples from unknown samples, pre-training is also helpful for identifying known but wrongly classified samples while outlier exposure is not. In addition to different training settings, we also formulate a new evaluation setting for UOSR which is called few-shot UOSR, where only one or five samples per unknown class are available during evaluation to help identify unknown samples. We propose FS-KNNS for the few-shot UOSR to achieve state-of-the-art performance under all settings.
arxiv情報
| 著者 | Jun Cen,Di Luan,Shiwei Zhang,Yixuan Pei,Yingya Zhang,Deli Zhao,Shaojie Shen,Qifeng Chen |
| 発行日 | 2023-02-08 11:34:04+00:00 |
| arxivサイト | arxiv_id(pdf) |