OmniMAE: Single Model Masked Pretraining on Images and Videos

要約

Transformerベースのアーキテクチャは、さまざまなビジュアルドメイン、特に画像やビデオで競争力を持っています。
以前の研究ではこれらのモダリティを個別に研究してきましたが、共通のアーキテクチャを持つことは、複数の視覚モダリティに対して単一の統合モデルをトレーニングできることを示唆しています。
統一モデリングの以前の試みでは、通常、視覚タスクに合わせて調整されたアーキテクチャを使用するか、単一のモダリティモデルと比較してパフォーマンスが低下します。
この作業では、マスクされた自動エンコードを使用して、ラベル付けされたデータを必要とせずに、画像とビデオで単純なVisionTransformerをトレーニングできることを示します。
この単一モデルは、はるかに単純なアーキテクチャを使用しながら、画像とビデオの両方のベンチマークで単一モダリティ表現と同等またはそれ以上の視覚的表現を学習します。
特に、事前にトレーニングされた単一のモデルを微調整して、ImageNetで86.5％、挑戦的なSomething Something-v2ビデオベンチマークで75.3％を達成できます。
さらに、このモデルは、画像の90％とビデオパッチの95％をドロップすることで学習できるため、非常に高速なトレーニングが可能になります。

要約(オリジナル)

Transformer-based architectures have become competitive across a variety of visual domains, most notably images and videos. While prior work has studied these modalities in isolation, having a common architecture suggests that one can train a single unified model for multiple visual modalities. Prior attempts at unified modeling typically use architectures tailored for vision tasks, or obtain worse performance compared to single modality models. In this work, we show that masked autoencoding can be used to train a simple Vision Transformer on images and videos, without requiring any labeled data. This single model learns visual representations that are comparable to or better than single-modality representations on both image and video benchmarks, while using a much simpler architecture. In particular, our single pretrained model can be finetuned to achieve 86.5% on ImageNet and 75.3% on the challenging Something Something-v2 video benchmark. Furthermore, this model can be learned by dropping 90% of the image and 95% of the video patches, enabling extremely fast training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google