Stare at What You See: Masked Image Modeling without Reconstruction

要約

マスク オートエンコーダー (MAE) は、大規模な視覚表現の事前トレーニングの一般的なパラダイムです。
可視画像領域のごく一部からマスクされた画像パッチを再構築することにより、MAE はモデルに画像内のセマンティック相関を推測させます。
最近、セマンティックリッチな教師モデルを適用して画像の特徴を再構成ターゲットとして抽出し、パフォーマンスを向上させるアプローチがいくつかあります。
ただし、ピクセル値などの低レベルの特徴とは異なり、強力な教師モデルによって抽出された特徴は、完全な画像内の領域全体で豊富なセマンティック相関を既にエンコードしていると主張します。これにより、1 つの疑問が生じます。
先生モデル？
この論文では、MaskAlign という名前の効率的な MIM パラダイムを提案します。
MaskAlign は、生徒モデルによって抽出された目に見えるパッチの特徴と教師モデルによって抽出された無傷の画像特徴の一貫性を単純に学習します。
パフォーマンスをさらに向上させ、生徒と教師のモデル間の入力の不一致の問題に取り組むために、学習可能なアラインメントを適用する動的アラインメント (DA) モジュールを提案します。
私たちの実験結果は、マスクされたモデリングが、マスクされた領域で再構成しなくても有効性を失わないことを示しています。
動的アライメントと組み合わせることで、MaskAlign は最先端のパフォーマンスをはるかに高い効率で実現できます。
コードとモデルは、https://github.com/OpenPerceptionX/maskalign で入手できます。

要約(オリジナル)

Masked Autoencoders (MAE) have been prevailing paradigms for large-scale vision representation pre-training. By reconstructing masked image patches from a small portion of visible image regions, MAE forces the model to infer semantic correlation within an image. Recently, some approaches apply semantic-rich teacher models to extract image features as the reconstruction target, leading to better performance. However, unlike the low-level features such as pixel values, we argue the features extracted by powerful teacher models already encode rich semantic correlation across regions in an intact image.This raises one question: is reconstruction necessary in Masked Image Modeling (MIM) with a teacher model? In this paper, we propose an efficient MIM paradigm named MaskAlign. MaskAlign simply learns the consistency of visible patch features extracted by the student model and intact image features extracted by the teacher model. To further advance the performance and tackle the problem of input inconsistency between the student and teacher model, we propose a Dynamic Alignment (DA) module to apply learnable alignment. Our experimental results demonstrate that masked modeling does not lose effectiveness even without reconstruction on masked regions. Combined with Dynamic Alignment, MaskAlign can achieve state-of-the-art performance with much higher efficiency. Code and models will be available at https://github.com/OpenPerceptionX/maskalign.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google