More ConvNets in the 2020s: Scaling up Kernels Beyond 51×51 using Sparsity

要約

トランスフォーマーは、ビジョン トランスフォーマー (ViT) の登場以来、コンピューター ビジョンの世界で急速に脚光を浴びてきました。
畳み込みニューラル ネットワーク (CNN) の支配的な役割は、ますます効果的な変換器ベースのモデルによって挑戦されているようです。
ごく最近、いくつかの高度な畳み込みモデルが、ローカル ウィンドウのアテンション メカニズムによって動機付けられた大きなカーネルで反撃し、魅力的なパフォーマンスと効率性を示しています。
それらの 1 つ、つまり RepLKNet は、パフォーマンスを向上させてカーネル サイズを 31×31 にスケーリングすることに見事に成功していますが、Swin Transformer などの高度な ViT のスケーリング トレンドと比較して、カーネル サイズが大きくなり続けると、パフォーマンスが飽和し始めます。
このホワイト ペーパーでは、31×31 を超える極端な畳み込みをトレーニングする可能性を探り、畳み込みを戦略的に拡大することでパフォーマンス ギャップを解消できるかどうかをテストします。
この調査の結果、スパース性の観点から非常に大きなカーネルを適用するためのレシピが得られました。これにより、カーネルをより優れたパフォーマンスで 61×61 にスムーズにスケールアップできます。
このレシピに基づいて、Sparse Large Kernel Network (SLaK) を提案します。これは、最先端の階層型 Transformer や ConvNeXt などの最新の ConvNet アーキテクチャと同等またはそれ以上の性能を発揮できる、疎に分解された 51×51 カーネルを備えた純粋な CNN アーキテクチャです。
RepLKNet、ImageNet 分類、および ADE20K でのセマンティック セグメンテーション、PASCAL VOC 2007 でのオブジェクト検出、および MS COCO でのオブジェクト検出/セグメンテーションを含む幅広いダウンストリーム タスク。

要約(オリジナル)

Transformers have quickly shined in the computer vision world since the emergence of Vision Transformers (ViTs). The dominant role of convolutional neural networks (CNNs) seems to be challenged by increasingly effective transformer-based models. Very recently, a couple of advanced convolutional models strike back with large kernels motivated by the local-window attention mechanism, showing appealing performance and efficiency. While one of them, i.e. RepLKNet, impressively manages to scale the kernel size to 31×31 with improved performance, the performance starts to saturate as the kernel size continues growing, compared to the scaling trend of advanced ViTs such as Swin Transformer. In this paper, we explore the possibility of training extreme convolutions larger than 31×31 and test whether the performance gap can be eliminated by strategically enlarging convolutions. This study ends up with a recipe for applying extremely large kernels from the perspective of sparsity, which can smoothly scale up kernels to 61×61 with better performance. Built on this recipe, we propose Sparse Large Kernel Network (SLaK), a pure CNN architecture equipped with sparse factorized 51×51 kernels that can perform on par with or better than state-of-the-art hierarchical Transformers and modern ConvNet architectures like ConvNeXt and RepLKNet, on ImageNet classification as well as a wide range of downstream tasks including semantic segmentation on ADE20K, object detection on PASCAL VOC 2007, and object detection/segmentation on MS COCO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google