Bootstrapped Masked Autoencoders for Vision BERT Pretraining

要約

ビジョンBERT事前トレーニングの新しいアプローチであるブートストラップマスクオートエンコーダ（BootMAE）を提案します。
BootMAEは、2つのコア設計で元のマスクされたオートエンコーダー（MAE）を改善します。1）追加のBERT予測ターゲットとしてオンライン機能を提供するモメンタムエンコーダー。
2）BERT事前トレーニングでターゲット固有の情報を記憶するためにエンコーダーへの圧力を軽減しようとするターゲット認識デコーダー。
最初の設計は、事前にトレーニングされたMAEを使用して、マスクされたトークンのBERT予測ターゲットとして特徴を抽出することで、より優れた事前トレーニングのパフォーマンスを実現できるという観察に基づいています。
したがって、元のMAEエンコーダーと並行して運動量エンコーダーを追加します。これは、BERT予測ターゲットとして独自の表現を使用することにより、事前トレーニングのパフォーマンスをブートストラップします。
2番目の設計では、ターゲット固有の情報（マスクされていないパッチのピクセル値など）をエンコーダーからデコーダーに直接導入して、ターゲット固有の情報を記憶するエンコーダーへの圧力を軽減します。
したがって、エンコーダーは、BERT事前トレーニングの目標であるセマンティックモデリングに焦点を合わせており、予測ターゲットに関連するマスクされていないトークンの情報を記憶するためにその容量を浪費する必要はありません。
広範な実験を通じて、私たちのBootMAEは、ViT-Bバックボーンを備えたImageNet-1Kで$ 84.2 \％$のトップ1精度を達成し、同じ事前トレーニングエポックでMAEを$ + 0.8 \％$上回っています。
BootMAEは、ADE20Kおよび$ +1.3$ボックスAPでのセマンティックセグメンテーションで$+1.0 $ mIoUの改善、COCOデータセットでのオブジェクト検出およびセグメンテーションでの$ +1.4$マスクAPの改善も取得します。
コードはhttps://github.com/LightDXY/BootMAEでリリースされています。

要約(オリジナル)

We propose bootstrapped masked autoencoders (BootMAE), a new approach for vision BERT pretraining. BootMAE improves the original masked autoencoders (MAE) with two core designs: 1) momentum encoder that provides online feature as extra BERT prediction targets; 2) target-aware decoder that tries to reduce the pressure on the encoder to memorize target-specific information in BERT pretraining. The first design is motivated by the observation that using a pretrained MAE to extract the features as the BERT prediction target for masked tokens can achieve better pretraining performance. Therefore, we add a momentum encoder in parallel with the original MAE encoder, which bootstraps the pretraining performance by using its own representation as the BERT prediction target. In the second design, we introduce target-specific information (e.g., pixel values of unmasked patches) from the encoder directly to the decoder to reduce the pressure on the encoder of memorizing the target-specific information. Thus, the encoder focuses on semantic modeling, which is the goal of BERT pretraining, and does not need to waste its capacity in memorizing the information of unmasked tokens related to the prediction target. Through extensive experiments, our BootMAE achieves $84.2\%$ Top-1 accuracy on ImageNet-1K with ViT-B backbone, outperforming MAE by $+0.8\%$ under the same pre-training epochs. BootMAE also gets $+1.0$ mIoU improvements on semantic segmentation on ADE20K and $+1.3$ box AP, $+1.4$ mask AP improvement on object detection and segmentation on COCO dataset. Code is released at https://github.com/LightDXY/BootMAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google