Context Autoencoder for Self-Supervised Representation Learning

要約

自己教師あり表現の事前トレーニングのための新しいマスク イメージ モデリング (MIM) アプローチ、コンテキスト オートエンコーダー (CAE) を紹介します。
エンコードされた表現空間で予測を行うことにより、エンコーダーを事前トレーニングします。
事前トレーニング タスクには、マスクされたパッチの表現を予測するマスク表現予測と、マスクされたパッチを再構築するマスク パッチ再構築の 2 つのタスクが含まれます。
ネットワークは、エンコーダー、リグレッサー、デコーダーのアーキテクチャです。エンコーダーは、表示されているパッチを入力として受け取ります。
リグレッサーは、可視パッチの表現と、可視パッチとマスクされたパッチの位置を使用して、エンコーダから計算された表現と一致すると予想されるマスクされたパッチの表現を予測します。
デコーダは、予測された符号化表現からマスクされたパッチを再構築します。
CAE 設計は、エンコーダ (表現) の学習と、関連するタスク (マスクされた表現の予測およびマスクされたパッチの再構築タスク) の完了から分離することを奨励しており、エンコードされた表現空間で予測を行うことは、表現の学習に利点があることを経験的に示しています。
当社は、セマンティック セグメンテーション、オブジェクト検出とインスタンス セグメンテーション、分類などの下流タスクにおける優れた転送パフォーマンスを通じて、CAE の有効性を実証します。
コードは https://github.com/Atten4Vis/CAE で入手できます。

要約(オリジナル)

We present a novel masked image modeling (MIM) approach, context autoencoder (CAE), for self-supervised representation pretraining. We pretrain an encoder by making predictions in the encoded representation space. The pretraining tasks include two tasks: masked representation prediction – predict the representations for the masked patches, and masked patch reconstruction – reconstruct the masked patches. The network is an encoder-regressor-decoder architecture: the encoder takes the visible patches as input; the regressor predicts the representations of the masked patches, which are expected to be aligned with the representations computed from the encoder, using the representations of visible patches and the positions of visible and masked patches; the decoder reconstructs the masked patches from the predicted encoded representations. The CAE design encourages the separation of learning the encoder (representation) from completing the pertaining tasks: masked representation prediction and masked patch reconstruction tasks, and making predictions in the encoded representation space empirically shows the benefit to representation learning. We demonstrate the effectiveness of our CAE through superior transfer performance in downstream tasks: semantic segmentation, object detection and instance segmentation, and classification. The code will be available at https://github.com/Atten4Vis/CAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google