A Self Supervised StyleGAN for Image Annotation and Classification with Extremely Limited Labels

要約

学習ベースのアルゴリズムの最近の成功は、トレーニングに使用された膨大な量の注釈付きデータに大きく貢献していると考えられます。
しかし、ラベル付けに関連するコストが高いため、多くのデータセットにはアノテーションが不足しており、その結果、深層学習手法のパフォーマンスが低下します。
自己教師あり学習は、ラベルなしデータを利用して関連する特徴表現を学習するため、大規模なラベル付きデータセットへの依存を軽減するために頻繁に採用されます。
この研究では、非常に小さなアノテーション付きデータセットに適した画像アノテーションと分類のための自己教師ありアプローチである SS-StyleGAN を提案します。
この新しいフレームワークは、もつれの解けた特性でよく知られている StyleGAN 潜在空間への埋め込みを学習するエンコーダーを統合することにより、StyleGAN アーキテクチャに自己監視機能を追加します。
学習された潜在空間により、ラベル付けされるデータから代表的なものをスマートに選択できるようになり、分類パフォーマンスが向上します。
我々は、提案された方法が、サイズ 50、さらには 10 の小さなラベル付きデータセットを使用して強力な分類結果を達成することを示します。我々は、新型コロナウイルス感染症 (COVID-19) および肝腫瘍の病理識別のタスクに対するこのアプローチの優位性を実証します。

要約(オリジナル)

The recent success of learning-based algorithms can be greatly attributed to the immense amount of annotated data used for training. Yet, many datasets lack annotations due to the high costs associated with labeling, resulting in degraded performances of deep learning methods. Self-supervised learning is frequently adopted to mitigate the reliance on massive labeled datasets since it exploits unlabeled data to learn relevant feature representations. In this work, we propose SS-StyleGAN, a self-supervised approach for image annotation and classification suitable for extremely small annotated datasets. This novel framework adds self-supervision to the StyleGAN architecture by integrating an encoder that learns the embedding to the StyleGAN latent space, which is well-known for its disentangled properties. The learned latent space enables the smart selection of representatives from the data to be labeled for improved classification performance. We show that the proposed method attains strong classification results using small labeled datasets of sizes 50 and even 10. We demonstrate the superiority of our approach for the tasks of COVID-19 and liver tumor pathology identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google