Deeper Insights into the Robustness of ViTs towards Common Corruptions

要約

ビジョン トランスフォーマー (ViT) がさまざまなコンピューター ビジョン タスクで大きな進歩を遂げているため、最近の文献では、より優れた効率と有効性を実現するために、バニラ ViT のさまざまなバリエーションが提案されています。
ただし、それらの独自のアーキテクチャが一般的な破損に対する堅牢性にどのように影響するかは不明のままです。
このホワイトペーパーでは、ViT バリアント間の堅牢性のギャップを調査し、堅牢性に不可欠な基礎となる設計を調査する最初の試みを行います。
広範かつ厳密なベンチマークを通じて、重複するパッチの埋め込みや畳み込みフィードフォワード ネットワーク (FFN) などの単純なアーキテクチャ設計が ViT の堅牢性を促進できることを示しています。
さらに、ViT のトレーニングはデータ拡張に大きく依存しているため、堅牢性を目的とした以前の CNN ベースの拡張戦略が依然として有用であるかどうかは、調査する価値があります。
ViT でさまざまなデータ拡張を調査し、敵対的ノイズ トレーニングが強力である一方で、フーリエ ドメイン拡張が劣っていることを確認します。
これらの調査結果に基づいて、入力画像に条件付けられた動的拡張パラメーターを生成する新しい条件付き方法を導入し、一般的な破損に対する最先端の堅牢性を提供します。

要約(オリジナル)

With Vision Transformers (ViTs) making great advances in a variety of computer vision tasks, recent literature have proposed various variants of vanilla ViTs to achieve better efficiency and efficacy. However, it remains unclear how their unique architecture impact robustness towards common corruptions. In this paper, we make the first attempt to probe into the robustness gap among ViT variants and explore underlying designs that are essential for robustness. Through an extensive and rigorous benchmarking, we demonstrate that simple architecture designs such as overlapping patch embedding and convolutional feed-forward network (FFN) can promote the robustness of ViTs. Moreover, since training ViTs relies heavily on data augmentation, whether previous CNN-based augmentation strategies that are targeted at robustness purposes can still be useful is worth investigating. We explore different data augmentation on ViTs and verify that adversarial noise training is powerful while fourier-domain augmentation is inferior. Based on these findings, we introduce a novel conditional method of generating dynamic augmentation parameters conditioned on input images, offering state-of-the-art robustness towards common corruptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google