Representation Learning by Detecting Incorrect Location Embeddings

要約

この論文では、画像表現学習のための新しい自己教師あり学習 (SSL) 損失を紹介します。
ディープ ニューラル ネットワークの一般化は、オブジェクトの形状を識別する能力に関連しているという考えが強まっています。
オブジェクトの形状はそのパーツの位置に関連しているため、人為的に置き忘れられたオブジェクトを検出することを提案します。
オブジェクト パーツを画像トークンで表し、ViT をトレーニングして、どのトークンが誤った位置埋め込みと組み合わされているかを検出します。
次に、入力にスパース性を導入して、モデルをオクルージョンに対してより堅牢にし、トレーニングを高速化します。
私たちはこのメソッドを DILEMMA と呼んでいます。これは、MAsked 入力を使用した不正な位置の EMbeddings の検出を表しています。
DILEMMA を MoCoV3、DINO、SimCLR に適用し、同じトレーニング時間で ImageNet-1K の線形プロービング転送を使用して、それぞれ 4.41%、3.97%、0.5% のパフォーマンスの向上を示しました。
また、ImageNet-100 での方法と組み合わせた MAE の完全な微調整の改善も示します。
私たちは、一般的な SSL ベンチマークで微調整することにより、私たちの方法を評価します。
さらに、ダウンストリーム タスクが形状に強く依存している場合 (YOGA-82 ポーズ データセットなど)、事前トレーニング済みの機能が以前の作業よりも大幅に向上することを示しています。

要約(オリジナル)

In this paper, we introduce a novel self-supervised learning (SSL) loss for image representation learning. There is a growing belief that generalization in deep neural networks is linked to their ability to discriminate object shapes. Since object shape is related to the location of its parts, we propose to detect those that have been artificially misplaced. We represent object parts with image tokens and train a ViT to detect which token has been combined with an incorrect positional embedding. We then introduce sparsity in the inputs to make the model more robust to occlusions and to speed up the training. We call our method DILEMMA, which stands for Detection of Incorrect Location EMbeddings with MAsked inputs. We apply DILEMMA to MoCoV3, DINO and SimCLR and show an improvement in their performance of respectively 4.41%, 3.97%, and 0.5% under the same training time and with a linear probing transfer on ImageNet-1K. We also show full fine-tuning improvements of MAE combined with our method on ImageNet-100. We evaluate our method via fine-tuning on common SSL benchmarks. Moreover, we show that when downstream tasks are strongly reliant on shape (such as in the YOGA-82 pose dataset), our pre-trained features yield a significant gain over prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google