Class-Specific Semantic Reconstruction for Open Set Recognition

要約

オープンセット認識により、ディープニューラルネットワーク（DNN）は、既知のクラスのサンプルに対して高い分類精度を維持しつつ、未知のクラスのサンプルを識別することができる。オートエンコーダ(AE)やプロトタイプ学習に基づく既存の手法は、この困難なタスクを処理する上で大きな可能性を示している。本研究では、AEとプロトタイプ学習を統合したクラス別意味再構成(CSSR)と呼ばれる新しい手法を提案する。具体的には、CSSRはプロトタイプ点をクラス特異的なAEで表現される多様体に置き換える。従来のプロトタイプベースの手法とは異なり、CSSRは既知の各クラスを個別のAE多様体上でモデル化し、AEの再構成誤差によってクラス帰属性を測定する。クラス特異的AEはDNNのバックボーンの最上部に接続され、生画像の代わりにDNNが学習した意味表現を再構成する。エンドツーエンドの学習により、DNNとAEは互いにブーストし合い、識別情報と代表情報の両方を学習する。複数のデータセットで行った実験の結果、提案手法はクローズセットとオープンセットの両方で優れた性能を達成し、既存のフレームワークに組み込むのに十分なシンプルさと柔軟性を備えていることがわかった。

要約(オリジナル)

Open set recognition enables deep neural networks (DNNs) to identify samples of unknown classes, while maintaining high classification accuracy on samples of known classes. Existing methods basing on auto-encoder (AE) and prototype learning show great potential in handling this challenging task. In this study, we propose a novel method, called Class-Specific Semantic Reconstruction (CSSR), that integrates the power of AE and prototype learning. Specifically, CSSR replaces prototype points with manifolds represented by class-specific AEs. Unlike conventional prototype-based methods, CSSR models each known class on an individual AE manifold, and measures class belongingness through AE’s reconstruction error. Class-specific AEs are plugged into the top of the DNN backbone and reconstruct the semantic representations learned by the DNN instead of the raw image. Through end-to-end learning, the DNN and the AEs boost each other to learn both discriminative and representative information. The results of experiments conducted on multiple datasets show that the proposed method achieves outstanding performance in both close and open set recognition and is sufficiently simple and flexible to incorporate into existing frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL