Efficient Masked Autoencoders with Self-Consistency

要約

自然言語処理タスクにおけるマスク付き言語モデリング(MLM)に触発されたマスク付き画像モデリング(MIM)は、コンピュータビジョンにおける強力な自己教師付き事前学習法として認識されている。しかし、MIMのランダムマスク比率の高さは、2つの深刻な問題を引き起こす。1)各反復における画像の不十分なデータ利用は、事前学習を長引かせる、2)予測値の一貫性の高さは、信頼性の低い世代をもたらす、$i.e.$、すなわち、同一のパッチの予測は、異なるマスクラウンドで一貫性を欠く可能性があり、最終的に生成される結果に乖離した意味をもたらす。このような問題に対処するため、我々は、事前学習の効率とMIMの一貫性を向上させるために、自己一貫性を持つ効率的なマスクオートエンコーダ(EMAE)を提案する。特に、画像をK個の非重複部分に分割し、その各々が同じマスク比のランダムマスクによって生成される並列マスク戦略を提示する。そして、MIMタスクは反復において全ての部分に対して並列に行われ、モデルは予測値とマスクされたパッチの間の損失を最小化する。さらに、各パーツ間で重複するマスクパッチの予測値の一貫性を維持するために、自己無撞着学習を設計する。全体として、我々の手法はより効率的にデータを利用し、信頼性の高い表現を得ることができる。ImageNetでの実験によれば、EMAEはViT-Largeにおいて、NVIDIA A100 GPUを用いたMAEの事前学習時間のわずか13%で最高の性能を達成した。多様なデータセットでの事前学習後、EMAEは画像分類、物体検出、セマンティックセグメンテーションなどの様々なダウンストリームタスクにおいて、常に最先端の伝達能力を獲得している。

要約(オリジナル)

Inspired by the masked language modeling (MLM) in natural language processing tasks, the masked image modeling (MIM) has been recognized as a strong self-supervised pre-training method in computer vision. However, the high random mask ratio of MIM results in two serious problems: 1) the inadequate data utilization of images within each iteration brings prolonged pre-training, and 2) the high inconsistency of predictions results in unreliable generations, $i.e.$, the prediction of the identical patch may be inconsistent in different mask rounds, leading to divergent semantics in the ultimately generated outcomes. To tackle these problems, we propose the efficient masked autoencoders with self-consistency (EMAE) to improve the pre-training efficiency and increase the consistency of MIM. In particular, we present a parallel mask strategy that divides the image into K non-overlapping parts, each of which is generated by a random mask with the same mask ratio. Then the MIM task is conducted parallelly on all parts in an iteration and the model minimizes the loss between the predictions and the masked patches. Besides, we design the self-consistency learning to further maintain the consistency of predictions of overlapping masked patches among parts. Overall, our method is able to exploit the data more efficiently and obtains reliable representations. Experiments on ImageNet show that EMAE achieves the best performance on ViT-Large with only 13% of MAE pre-training time using NVIDIA A100 GPUs. After pre-training on diverse datasets, EMAE consistently obtains state-of-the-art transfer ability on a variety of downstream tasks, such as image classification, object detection, and semantic segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL