Masked autoencoders are effective solution to transformer data-hungry

要約

ビジョン トランスフォーマー (ViT) は、そのグローバル モデリング機能により、いくつかのビジョン タスクで畳み込みニューラル ネットワーク (CNN) よりも優れています。
ただし、ViT には畳み込みに固有の誘導バイアスがないため、トレーニングに大量のデータが必要になります。
その結果、ViT は、医学や科学などの小さなデータセットでは CNN ほどには機能しません。
実験的に、マスクされたオートエンコーダー (MAE) を使用すると、トランスフォーマーが画像自体により多くの焦点を当てることができるため、ViT のデータを大量に消費する問題がある程度軽減されることがわかりました。
しかし、現在の MAE モデルは複雑すぎて、小さなデータセットで過適合の問題が発生しています。
これにより、小さなデータセットでトレーニングされた MAE と高度な CNN モデルとの間にギャップが生じます。
そのため、MAE のデコーダーの複雑さを軽減する方法を調査し、小さなデータセットでそれに適したアーキテクチャ構成を見つけました。
さらに、MAE のローカリゼーションと不変性特性を導入するために、位置予測タスクと対照学習タスクを追加で設計しました。
私たちの対照的な学習タスクは、モデルが高レベルの視覚情報を学習できるようにするだけでなく、MAE のクラス トークンのトレーニングも可能にします。
これは、ほとんどの MAE 改善の取り組みでは考慮されていないことです。
広範な実験により、現在一般的なマスクされた画像モデリング (MIM) や小さなデータセット用のビジョン トランスフォーマーと比較して、標準的な小さなデータセットやサンプル数の少ない医療データセットで最先端のパフォーマンスを示すことが示されています。コードとモデル
https://github.com/Talented-Q/SDMAE で入手できます。

要約(オリジナル)

Vision Transformers (ViTs) outperforms convolutional neural networks (CNNs) in several vision tasks with its global modeling capabilities. However, ViT lacks the inductive bias inherent to convolution making it require a large amount of data for training. This results in ViT not performing as well as CNNs on small datasets like medicine and science. We experimentally found that masked autoencoders (MAE) can make the transformer focus more on the image itself, thus alleviating the data-hungry issue of ViT to some extent. Yet the current MAE model is too complex resulting in over-fitting problems on small datasets. This leads to a gap between MAEs trained on small datasets and advanced CNNs models still. Therefore, we investigated how to reduce the decoder complexity in MAE and found a more suitable architectural configuration for it with small datasets. Besides, we additionally designed a location prediction task and a contrastive learning task to introduce localization and invariance characteristics for MAE. Our contrastive learning task not only enables the model to learn high-level visual information but also allows the training of MAE’s class token. This is something that most MAE improvement efforts do not consider. Extensive experiments have shown that our method shows state-of-the-art performance on standard small datasets as well as medical datasets with few samples compared to the current popular masked image modeling (MIM) and vision transformers for small datasets.The code and models are available at https://github.com/Talented-Q/SDMAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google