A Unified View of Masked Image Modeling

要約

マスクされたイメージ モデリングは、大規模なビジョン トランスフォーマーをトレーニングする際のラベルに飢えた問題を解消する大きな可能性を示しており、さまざまなダウンストリーム タスクで優れたパフォーマンスを達成しています。
この作業では、既存の方法を再検討した後、マスクされた画像モデリングの統一されたビューを提案します。
統一されたビューの下で、MaskDistill と呼ばれるシンプルで効果的な方法を紹介します。これは、マスクされた位置で教師モデルから正規化されたセマンティック機能を再構築し、破損した入力画像を調整します。
画像分類とセマンティック セグメンテーションに関する実験結果は、MaskDistill が最先端の方法と同等またはそれ以上のパフォーマンスを達成することを示しています。
ヒュージ ビジョン トランスフォーマーを使用して 300 エポックを事前トレーニングすると、MaskDistill は ImageNet-1k (224 サイズ) で 88.3% の微調整トップ 1 精度を取得し、ADE20k (512 サイズ) で 58.8% のセマンティック セグメンテーション mIoU メトリックを取得します。
コードと事前トレーニング済みのモデルは、https://aka.ms/unimim で入手できます。

要約(オリジナル)

Masked image modeling has demonstrated great potential to eliminate the label-hungry problem of training large-scale vision Transformers, achieving impressive performance on various downstream tasks. In this work, we propose a unified view of masked image modeling after revisiting existing methods. Under the unified view, we introduce a simple yet effective method, termed as MaskDistill, which reconstructs normalized semantic features from teacher models at the masked positions, conditioning on corrupted input images. Experimental results on image classification and semantic segmentation show that MaskDistill achieves comparable or superior performance than state-of-the-art methods. When using the huge vision Transformer and pretraining 300 epochs, MaskDistill obtains 88.3% fine-tuning top-1 accuracy on ImageNet-1k (224 size) and 58.8% semantic segmentation mIoU metric on ADE20k (512 size). The code and pretrained models will be available at https://aka.ms/unimim.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google