OPERA: Omni-Supervised Representation Learning with Hierarchical Supervisions

要約

最新のコンピューター ビジョンにおける事前訓練と微調整のパラダイムは、教師あり学習よりも優れた転移性を達成する傾向がある自己教師あり学習の成功を促進します。
しかし、大量のラベル付きデータが利用できるようになると、当然の疑問が浮かび上がります。自己および完全な監視信号の両方を使用して、より優れたモデルをトレーニングするにはどうすればよいでしょうか?
この論文では、解決策として、階層的監督 (OPERA) を使用した Omni-suPERvised Representation leArning を提案します。
ラベル付けされたデータとラベル付けされていないデータからの監督の統一された視点を提供し、完全に監督された学習と自己監督された学習の統一されたフレームワークを提案します。
各画像の階層的なプロキシ表現のセットを抽出し、対応するプロキシ表現に自己および完全な監督を課します。
畳み込みニューラル ネットワークとビジョン トランスフォーマーの両方に関する広範な実験により、画像の分類、セグメンテーション、オブジェクト検出における OPERA の優位性が実証されています。
コードは https://github.com/wangck20/OPERA で入手できます。

要約(オリジナル)

The pretrain-finetune paradigm in modern computer vision facilitates the success of self-supervised learning, which tends to achieve better transferability than supervised learning. However, with the availability of massive labeled data, a natural question emerges: how to train a better model with both self and full supervision signals? In this paper, we propose Omni-suPErvised Representation leArning with hierarchical supervisions (OPERA) as a solution. We provide a unified perspective of supervisions from labeled and unlabeled data and propose a unified framework of fully supervised and self-supervised learning. We extract a set of hierarchical proxy representations for each image and impose self and full supervisions on the corresponding proxy representations. Extensive experiments on both convolutional neural networks and vision transformers demonstrate the superiority of OPERA in image classification, segmentation, and object detection. Code is available at: https://github.com/wangck20/OPERA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google