On the link between generative semi-supervised learning and generative open-set recognition

要約

この研究では、敵対的生成ネットワーク (GAN) のコンテキストの下で、半教師あり学習 (SSL、部分的にラベル付けされたデータセットによるトレーニング) とオープンセット認識 (OSR、新規性の同時検出による分類) の関係を調査します。
これまでの研究では SSL と OSR を正式に関連付けたものはありませんが、それぞれの手法には驚くべき類似点があります。
具体的には、SSL-GAN と OSR-GAN では、ジェネレーターが分類子ネットワークを正規化するために使用される「見栄えの悪い」サンプルを生成する必要があります。
私たちは、SSL と OSR における見栄えの悪いサンプルの定義は同じ概念を表し、同じ目標を実現していると仮説を立てます。
より正式には、見た目の悪いサンプルは相補空間にあります。これは、分類子の埋め込み空間内のラベル付きカテゴリの境界の間およびその周囲の領域です。
相補空間内のサンプルを使用して分類子を正規化することにより、分類子は SSL の一般化を改善し、OSR のオープン空間も一般化します。
この仮説を検証するために、同じ SSL-OSR 実験条件下で基礎的な SSL-GAN と最先端の OSR-GAN を比較します。
私たちの結果では、SSL-GAN が OSR-GAN とほぼ同じ結果を達成し、SSL-OSR のリンクが証明されていることがわかりました。
続いて、この新しい研究の道をさらに進めるために、この最初のベンチマークの結果であるいくつかの SSL-GAN のさまざまな SSL-OSR セットアップを比較します。
SSL-OSR のフレームワークを組み合わせることにより、分類器トレーニングの実用性とコスト効率が確実に向上するため、さらなる理論的研究と応用研究についても議論されます。

要約(オリジナル)

This study investigates the relationship between semi-supervised learning (SSL, which is training off partially labelled datasets) and open-set recognition (OSR, which is classification with simultaneous novelty detection) under the context of generative adversarial networks (GANs). Although no previous study has formally linked SSL and OSR, their respective methods share striking similarities. Specifically, SSL-GANs and OSR-GANs require their generators to produce ‘bad-looking’ samples which are used to regularise their classifier networks. We hypothesise that the definitions of bad-looking samples in SSL and OSR represents the same concept and realises the same goal. More formally, bad-looking samples lie in the complementary space, which is the area between and around the boundaries of the labelled categories within the classifier’s embedding space. By regularising a classifier with samples in the complementary space, classifiers achieve improved generalisation for SSL and also generalise the open space for OSR. To test this hypothesis, we compare a foundational SSL-GAN with the state-of-the-art OSR-GAN under the same SSL-OSR experimental conditions. Our results find that SSL-GANs achieve near identical results to OSR-GANs, proving the SSL-OSR link. Subsequently, to further this new research path, we compare several SSL-GANs various SSL-OSR setups which this first benchmark results. A combined framework of SSL-OSR certainly improves the practicality and cost-efficiency of classifier training, and so further theoretical and application studies are also discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google