Hardwiring ViT Patch Selectivity into CNNs using Patch Mixing

要約

ビジョン トランスフォーマー (ViT) はコンピューター ビジョンの状況を大きく変え、ビジョン タスクにおいて畳み込みニューラル ネットワーク (CNN) と比較して優れたパフォーマンスを定期的に示してきました。
どのモデル タイプが優れているかについてはまだ結論が出ていませんが、それぞれのモデル タイプには、学習および汎化パフォーマンスを形成する固有の帰納的バイアスがあります。
たとえば、ViT は、初期層の非局所特徴依存性に関して興味深い特性を備えているほか、学習の柔軟性を高め、コンテキスト外の画像情報をより効果的に無視できる自己注意メカニズムを備えています。
私たちは、初期層で非ローカルな方法でコンテキスト内情報を統合しながら、コンテキスト外の情報を無視するこの能力 (これを $\textit{パッチ選択性}$ と名付けます) により、ViT がオクルージョンをより簡単に処理できるようになると仮説を立てています。
。
この研究での私たちの目的は、別の画像からトレーニング画像にパッチを挿入することで構成されるパッチミキシングデータ拡張を使用して、この帰納的バイアスを効果的に配線することにより、CNN にこのパッチ選択性の能力を $\textit{simulate}$ させることができるかどうかを確認することです。
2 つの画像クラス間のラベルを補間します。
具体的には、パッチ ミキシングを使用して最先端の ViT と CNN をトレーニングし、コンテキスト外のパッチを無視して自然なオクルージョンを処理する能力への影響を評価します。
パッチ ミキシングを使用してトレーニングした場合、ViT は改善も劣化もしないことがわかりましたが、CNN はコンテキスト外の情報を無視し、オクルージョン ベンチマークを改善する新しい機能を獲得し、このトレーニング方法は CNN でシミュレーションする方法であると結論付けました。
ViT がすでに持っている能力。
パッチミキシングの実装と提案されたデータセットを一般公開する予定です。
プロジェクトページ：https://arielnlee.github.io/PatchMixing/

要約(オリジナル)

Vision transformers (ViTs) have significantly changed the computer vision landscape and have periodically exhibited superior performance in vision tasks compared to convolutional neural networks (CNNs). Although the jury is still out on which model type is superior, each has unique inductive biases that shape their learning and generalization performance. For example, ViTs have interesting properties with respect to early layer non-local feature dependence, as well as self-attention mechanisms which enhance learning flexibility, enabling them to ignore out-of-context image information more effectively. We hypothesize that this power to ignore out-of-context information (which we name $\textit{patch selectivity}$), while integrating in-context information in a non-local manner in early layers, allows ViTs to more easily handle occlusion. In this study, our aim is to see whether we can have CNNs $\textit{simulate}$ this ability of patch selectivity by effectively hardwiring this inductive bias using Patch Mixing data augmentation, which consists of inserting patches from another image onto a training image and interpolating labels between the two image classes. Specifically, we use Patch Mixing to train state-of-the-art ViTs and CNNs, assessing its impact on their ability to ignore out-of-context patches and handle natural occlusions. We find that ViTs do not improve nor degrade when trained using Patch Mixing, but CNNs acquire new capabilities to ignore out-of-context information and improve on occlusion benchmarks, leaving us to conclude that this training method is a way of simulating in CNNs the abilities that ViTs already possess. We will release our Patch Mixing implementation and proposed datasets for public use. Project page: https://arielnlee.github.io/PatchMixing/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google