DropKey

要約

タイトル：DropKey

要約：
・本論文では、Vision Transformerのセルフアテンション層でのドロップアウト技術の検討と改善に焦点を当てる。
・従来の文献では、アテンションの重みをドロップすることが多かったが、本論文ではアテンション行列の計算前にドロップアウト操作を行い、Keyをドロップユニットとして設定するという、新しいドロップアウト・ビフォア・ソフトマックス方式を提案する。
・また、全ての層に一定のドロップ比率を適用する代わりに、自己アテンション層のスタックに沿ってドロップ比率を徐々に低下させることで、モデルの訓練におけるオーバーフィッティング問題を解決する decreasing scheduleを提案する。
・CNN用のパッチベースのブロックバージョンのドロップアウト操作をViTで行ってみたが、必要性がないことがわかった。
・上記の研究から、Keyをドロップユニットとして扱い、ドロップ比率の decreasing scheduleを利用する DropKeyメソッドを提案し、多様なViTアーキテクチャと各種ビジョンタスク、例えば画像分類、オブジェクト検知、人間・オブジェクトの相互作用検知、人体形状回復に対して効果を検証した。

要約(オリジナル)

In this paper, we focus on analyzing and improving the dropout technique for self-attention layers of Vision Transformer, which is important while surprisingly ignored by prior works. In particular, we conduct researches on three core questions: First, what to drop in self-attention layers? Different from dropping attention weights in literature, we propose to move dropout operations forward ahead of attention matrix calculation and set the Key as the dropout unit, yielding a novel dropout-before-softmax scheme. We theoretically verify that this scheme helps keep both regularization and probability features of attention weights, alleviating the overfittings problem to specific patterns and enhancing the model to globally capture vital information; Second, how to schedule the drop ratio in consecutive layers? In contrast to exploit a constant drop ratio for all layers, we present a new decreasing schedule that gradually decreases the drop ratio along the stack of self-attention layers. We experimentally validate the proposed schedule can avoid overfittings in low-level features and missing in high-level semantics, thus improving the robustness and stableness of model training; Third, whether need to perform structured dropout operation as CNN? We attempt patch-based block-version of dropout operation and find that this useful trick for CNN is not essential for ViT. Given exploration on the above three questions, we present the novel DropKey method that regards Key as the drop unit and exploits decreasing schedule for drop ratio, improving ViTs in a general way. Comprehensive experiments demonstrate the effectiveness of DropKey for various ViT architectures, e.g. T2T and VOLO, as well as for various vision tasks, e.g., image classification, object detection, human-object interaction detection and human body shape recovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI