Exploring Target Representations for Masked Autoencoders

要約

マスクドオートエンコーダは、自己教師付き視覚表現学習のための一般的な学習パラダイムとなっている。これらのモデルは、入力の一部をランダムにマスクし、マスクされた部分をターゲット表現に従って再構成する。本論文では、まず、ターゲット表現を慎重に選択することが、良い表現を学習するために必要ないことを示す。この観察に基づき、我々は多段マスク蒸留パイプラインを提案し、ランダムに初期化されたモデルを教師として用いることで、ターゲット表現を慎重に設計することなく、大容量のモデルを効果的に学習することを可能にする。さらに、より大きな容量の教師を用いることで、顕著な転移能力を持つ蒸留生を得ることができる。分類、転移学習、物体検出、意味分割などの様々なタスクにおいて、提案するブートストラップ付き教師による知識蒸溜法（dBOT）は、従来の自己教師付き手法を自明な差をもって凌駕していることがわかる。我々は、提案手法と同様に、我々の発見が、マスクドオートエンコーダの事前学習におけるターゲット表現の役割について再考する動機となることを期待している。

要約(オリジナル)

Masked autoencoders have become popular training paradigms for self-supervised visual representation learning. These models randomly mask a portion of the input and reconstruct the masked portion according to the target representations. In this paper, we first show that a careful choice of the target representation is unnecessary for learning good representations, since different targets tend to derive similarly behaved models. Driven by this observation, we propose a multi-stage masked distillation pipeline and use a randomly initialized model as the teacher, enabling us to effectively train high-capacity models without any efforts to carefully design target representations. Interestingly, we further explore using teachers of larger capacity, obtaining distilled students with remarkable transferring ability. On different tasks of classification, transfer learning, object detection, and semantic segmentation, the proposed method to perform masked knowledge distillation with bootstrapped teachers (dBOT) outperforms previous self-supervised methods by nontrivial margins. We hope our findings, as well as the proposed method, could motivate people to rethink the roles of target representations in pre-training masked autoencoders.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL