SupMAE: Supervised Masked Autoencoders Are Efficient Vision Learners

要約

最近、自己教師ありマスク オートエンコーダー (MAE) は、その印象的な表現学習能力で前例のない注目を集めています。
ただし、口実タスクであるマスク イメージ モデリング (MIM) は、欠落しているローカル パッチを再構築し、イメージのグローバルな理解を欠いています。
このホワイト ペーパーでは、教師あり分類ブランチを追加することで MAE を完全教師あり設定に拡張し、それによって MAE がゴールデン ラベルからグローバルな特徴を効果的に学習できるようにします。
提案された教師あり MAE (SupMAE) は、すべての画像パッチが使用される標準の教師あり事前トレーニングとは異なり、分類のために画像パッチの可視サブセットのみを利用します。
実験を通じて、SupMAE がより効率的なトレーニングであるだけでなく、より堅牢で転送可能な機能を学習することも示しています。
具体的には、SupMAE は、ViT-B/16 モデルを使用して ImageNet で評価した場合、わずか 30% の計算を使用して MAE と同等のパフォーマンスを達成します。
ImageNet バリアントおよび転移学習パフォーマンスに対する SupMAE の堅牢性は、MAE および標準の教師あり事前トレーニングの対応物よりも優れています。
コードは公開されます。

要約(オリジナル)

Recently, self-supervised Masked Autoencoders (MAE) have attracted unprecedented attention for their impressive representation learning ability. However, the pretext task, Masked Image Modeling (MIM), reconstructs the missing local patches, lacking the global understanding of the image. This paper extends MAE to a fully-supervised setting by adding a supervised classification branch, thereby enabling MAE to effectively learn global features from golden labels. The proposed Supervised MAE (SupMAE) only exploits a visible subset of image patches for classification, unlike the standard supervised pre-training where all image patches are used. Through experiments, we demonstrate that not only is SupMAE more training efficient but also it learns more robust and transferable features. Specifically, SupMAE achieves comparable performance with MAE using only 30% of compute when evaluated on ImageNet with the ViT-B/16 model. SupMAE’s robustness on ImageNet variants and transfer learning performance outperforms MAE and standard supervised pre-training counterparts. Code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google