Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training

要約

自己監視型事前トレーニングの使用は、さまざまな視覚タスクのパフォーマンスを向上させるための有望なアプローチとして浮上しています。
これに関連して、最近のアプローチでは、ランダムにマスクされた画像パッチに関連付けられた視覚トークンを再構築することによってバックボーンを事前トレーニングするマスク画像モデリング パラダイムが採用されています。
ただし、このマスキング手法では、事前トレーニング中に入力データにノイズが導入され、微調整段階でパフォーマンスを損なう可能性のある不一致が生じます。
さらに、入力マスキングでは破損したパッチ間の依存関係が無視されるため、下流の微調整タスクで観察される不一致が増加します。
これらの問題を克服するために、自己回帰予測と並べ替え予測を使用してパッチ内の依存関係をキャプチャする、Masked and Permuted Vision Transformer (MaPeT) という名前の新しい自己教師あり事前トレーニング アプローチを提案します。
さらに、MaPeT は補助的な位置情報を使用して、事前トレーニング段階と微調整段階の間の差異を低減します。
私たちの実験では、信頼性が高く有意義な比較を保証するために公平な設定を採用し、離散化された CLIP 特徴を直接使用する提案された $k$-CLIP を含む複数の視覚的トークナイザーの調査を実施します。
私たちの結果は、同じモデル設定の下でベースラインや競合他社と比較して、MaPeT が ImageNet 上で競争力のあるパフォーマンスを達成していることを示しています。
コードとモデルの実装は https://github.com/aimagelab/MaPeT でリリースされます。

要約(オリジナル)

The use of self-supervised pre-training has emerged as a promising approach to enhance the performance of many different visual tasks. In this context, recent approaches have employed the Masked Image Modeling paradigm, which pre-trains a backbone by reconstructing visual tokens associated with randomly masked image patches. This masking approach, however, introduces noise into the input data during pre-training, leading to discrepancies that can impair performance during the fine-tuning phase. Furthermore, input masking neglects the dependencies between corrupted patches, increasing the inconsistencies observed in downstream fine-tuning tasks. To overcome these issues, we propose a new self-supervised pre-training approach, named Masked and Permuted Vision Transformer (MaPeT), that employs autoregressive and permuted predictions to capture intra-patch dependencies. In addition, MaPeT employs auxiliary positional information to reduce the disparity between the pre-training and fine-tuning phases. In our experiments, we employ a fair setting to ensure reliable and meaningful comparisons and conduct investigations on multiple visual tokenizers, including our proposed $k$-CLIP which directly employs discretized CLIP features. Our results demonstrate that MaPeT achieves competitive performance on ImageNet, compared to baselines and competitors under the same model setting. We release an implementation of our code and models at https://github.com/aimagelab/MaPeT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google