How does the degree of novelty impacts semi-supervised representation learning for novel class retrieval?

要約

深いネットワークを使用した教師あり表現学習は、トレーニング クラスに過剰適合する傾向があり、新しいクラスへの一般化は困難な問題です。
同じトレーニング クラスの差し出された画像に対する学習済みの埋め込みを評価するのが一般的です。
ただし、実際のアプリケーションでは、データは新しいソースから取得され、新しいクラスが発生する可能性があります。
新規クラスのラベルのない画像をトレーニング セットに半教師付きの方法で組み込むことは、バニラの教師付き表現と比較して、新規クラスの画像を効率的に検索するのに有益であると仮定します。
この仮説を包括的な方法で検証するために、データセットをカテゴリごとにランダムに、または意味論的に分割することにより、つまり、基本クラスと新規クラス間の共有セマンティクスを最小限に抑えることにより、新規クラスの新規性の程度を変える独自の評価方法を提案します。
この評価手順により、任意の新規クラス ラベルに対して盲目的に表現をトレーニングし、基本クラスまたは新規クラスの取得時に凍結表現を評価できます。
バニラの教師あり表現は、セマンティクスのギャップが大きいほど、新しいクラスの検索に不十分であることがわかります。
半教師付きアルゴリズムを使用すると、このパフォーマンス ギャップを部分的に埋めることができますが、まだ改善の余地がたくさんあります。

要約(オリジナル)

Supervised representation learning with deep networks tends to overfit the training classes and the generalization to novel classes is a challenging question. It is common to evaluate a learned embedding on held-out images of the same training classes. In real applications however, data comes from new sources and novel classes are likely to arise. We hypothesize that incorporating unlabelled images of novel classes in the training set in a semi-supervised fashion would be beneficial for the efficient retrieval of novel-class images compared to a vanilla supervised representation. To verify this hypothesis in a comprehensive way, we propose an original evaluation methodology that varies the degree of novelty of novel classes by partitioning the dataset category-wise either randomly, or semantically, i.e. by minimizing the shared semantics between base and novel classes. This evaluation procedure allows to train a representation blindly to any novel-class labels and evaluate the frozen representation on the retrieval of base or novel classes. We find that a vanilla supervised representation falls short on the retrieval of novel classes even more so when the semantics gap is higher. Semi-supervised algorithms allow to partially bridge this performance gap but there is still much room for improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google