Masked Image Modeling with Local Multi-Scale Reconstruction

要約

Masked Image Modeling (MIM) は、自己教師あり表現学習において優れた成功を収めています。
残念ながら、MIM モデルには通常、膨大な計算負荷と遅い学習プロセスがあり、産業用アプリケーションにとって避けられない障害となっています。
MIM では下位層が重要な役割を果たしますが、既存の MIM モデルはエンコーダの最上位層でのみ再構成タスクを実行します。
下位層は明示的にガイドされず、パッチ間の相互作用は新しいアクティベーションの計算にのみ使用されます。
再構成タスクには、ターゲット信号を推論するために自明ではないパッチ間の相互作用が必要であることを考慮して、それを下位層と上位層を含む複数のローカル層に適用します。
さらに、複数の層は異なるスケールの情報を学習することを期待しているため、下位層と上位層がそれぞれ細かいスケールと粗いスケールの教師信号を再構築するローカル マルチスケール再構築を設計します。
この設計は、複数のレイヤーを明示的にガイドすることで表現学習プロセスを加速するだけでなく、入力に対するマルチスケールの意味理解を促進します。
大規模な実験により、トレーニング前の負荷が大幅に軽減され、モデルが既存の MIM モデルよりも分類、検出、およびセグメンテーションのタスクで同等またはそれ以上のパフォーマンスを達成することが示されています。

要約(オリジナル)

Masked Image Modeling (MIM) achieves outstanding success in self-supervised representation learning. Unfortunately, MIM models typically have huge computational burden and slow learning process, which is an inevitable obstacle for their industrial applications. Although the lower layers play the key role in MIM, existing MIM models conduct reconstruction task only at the top layer of encoder. The lower layers are not explicitly guided and the interaction among their patches is only used for calculating new activations. Considering the reconstruction task requires non-trivial inter-patch interactions to reason target signals, we apply it to multiple local layers including lower and upper layers. Further, since the multiple layers expect to learn the information of different scales, we design local multi-scale reconstruction, where the lower and upper layers reconstruct fine-scale and coarse-scale supervision signals respectively. This design not only accelerates the representation learning process by explicitly guiding multiple layers, but also facilitates multi-scale semantical understanding to the input. Extensive experiments show that with significantly less pre-training burden, our model achieves comparable or better performance on classification, detection and segmentation tasks than existing MIM models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google