Masked autoencoders are effective solution to transformer data-hungry

要約

Vision Transformers (ViT) は、そのグローバルなモデリング能力により、いくつかのビジョンタスクにおいて畳み込みニューラルネットワーク (CNN) を凌駕している。しかし、ViTは畳み込みに特有の帰納的バイアスを持たないため、学習に大量のデータを必要とする。このため、医学や科学のような小規模なデータセットでは、ViTはCNNほどには性能が出ない。我々は、マスクドオートエンコーダ（MAE）が変換器を画像そのものに集中させ、ViTのデータ消費の問題をある程度緩和できることを実験的に発見しました。しかし、現在のMAEモデルは複雑すぎるため、小規模なデータセットではオーバーフィットの問題が発生しています。このため、小規模なデータセットで学習させたMAEと高度なCNNモデルとの間には依然としてギャップがある。そこで、我々はMAEにおけるデコーダの複雑さを軽減する方法を調査し、小規模データセットに適したアーキテクチャ構成を発見しました。さらに、位置予測タスクとコントラスト学習タスクを設計し、MAEに局所性と不変性を導入した。コントラスト学習タスクは、モデルに高レベルの視覚情報を学習させるだけでなく、MAEのクラストークンを学習させることができます。これは、ほとんどのMAE改良の取り組みが考慮していないことである。広範な実験により、我々の手法は、標準的な小規模データセットや、サンプル数の少ない医療データセットにおいて、現在普及している小規模データセット用のマスク画像モデリング（MIM）や視覚変換器と比較して、最先端の性能を示すことが示されている。コードとモデルは、https://github.com/Talented-Q/SDMAE で公開されている。

要約(オリジナル)

Vision Transformers (ViTs) outperforms convolutional neural networks (CNNs) in several vision tasks with its global modeling capabilities. However, ViT lacks the inductive bias inherent to convolution making it require a large amount of data for training. This results in ViT not performing as well as CNNs on small datasets like medicine and science. We experimentally found that masked autoencoders (MAE) can make the transformer focus more on the image itself, thus alleviating the data-hungry issue of ViT to some extent. Yet the current MAE model is too complex resulting in over-fitting problems on small datasets. This leads to a gap between MAEs trained on small datasets and advanced CNNs models still. Therefore, we investigated how to reduce the decoder complexity in MAE and found a more suitable architectural configuration for it with small datasets. Besides, we additionally designed a location prediction task and a contrastive learning task to introduce localization and invariance characteristics for MAE. Our contrastive learning task not only enables the model to learn high-level visual information but also allows the training of MAE’s class token. This is something that most MAE improvement efforts do not consider. Extensive experiments have shown that our method shows state-of-the-art performance on standard small datasets as well as medical datasets with few samples compared to the current popular masked image modeling (MIM) and vision transformers for small datasets.The code and models are available at https://github.com/Talented-Q/SDMAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL