Token Boosting for Robust Self-Supervised Visual Transformer Pre-training

要約

【タイトル】
– ロバストな自己教師付きビジュアルトランスフォーマーの事前学習のためのトークンブースティング

【要約】
– 大規模な未ラベル化データを使用して学習することは、ビジュアルトランスフォーマー（VT）の事前学習において強力なツールとなっています。しかし、実世界の場合、入力データが破損していたり信頼性が低かったりすることを忘れがちです。このような破損したデータに基づいてVTを事前学習することは、入力と「グランドトゥルース」のマスク処理が、場合によっては信頼できない可能性があるマスク自己符号化アプローチを使用した場合には困難です。この制限に対処するため、VT用のプラグアンドプレイコンポーネントであるトークンブースティングモジュール（TBM）を導入し、マスク自己符号化事前学習中にクリーンでロバストな特徴を抽出するようVTに学習させることができます。TBMがよりロバストで一般化された表現により良いモデル事前学習を実現するための理論的分析を提供し、その結果は下流タスクに恩恵を与えています。TBMの有効性を分析するための多大な実験を実施し、4つの破損したデータセットにおける結果は、TBMが下流タスクで一貫してパフォーマンスを向上させることを示しています。

要約(オリジナル)

Learning with large-scale unlabeled data has become a powerful tool for pre-training Visual Transformers (VTs). However, prior works tend to overlook that, in real-world scenarios, the input data may be corrupted and unreliable. Pre-training VTs on such corrupted data can be challenging, especially when we pre-train via the masked autoencoding approach, where both the inputs and masked “ground truth’ targets can potentially be unreliable in this case. To address this limitation, we introduce the Token Boosting Module (TBM) as a plug-and-play component for VTs that effectively allows the VT to learn to extract clean and robust features during masked autoencoding pre-training. We provide theoretical analysis to show how TBM improves model pre-training with more robust and generalizable representations, thus benefiting downstream tasks. We conduct extensive experiments to analyze TBM’s effectiveness, and results on four corrupted datasets demonstrate that TBM consistently improves performance on downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI