A review on discriminative self-supervised learning methods

要約

コンピューター ビジョンの分野では、ラベルのないデータから堅牢な特徴を抽出する方法として自己教師あり学習が登場しました。この学習では、手動のアノテーションを必要とせず、モデルがデータ自体から自律的にラベルを導き出します。
この論文は、コンピュータ ビジョンの領域における自己教師あり学習の識別アプローチを包括的にレビューし、その進化と現状を調査します。
対比、自己蒸留、知識蒸留、特徴非相関化、クラスタリング技術などのさまざまな方法の探索を通じて、これらのアプローチが豊富なラベルなしデータをどのように活用するかを調査します。
最後に、標準的な ImageNet 分類ベンチマークでの自己教師あり学習手法の比較を行います。

要約(オリジナル)

In the field of computer vision, self-supervised learning has emerged as a method to extract robust features from unlabeled data, where models derive labels autonomously from the data itself, without the need for manual annotation. This paper provides a comprehensive review of discriminative approaches of self-supervised learning within the domain of computer vision, examining their evolution and current status. Through an exploration of various methods including contrastive, self-distillation, knowledge distillation, feature decorrelation, and clustering techniques, we investigate how these approaches leverage the abundance of unlabeled data. Finally, we have comparison of self-supervised learning methods on the standard ImageNet classification benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google