DenseNets Reloaded: Paradigm Shift Beyond ResNets and ViTs

要約

この論文では、Densely Connected Convolutional Networks (DenseNets) を復活させ、主流の ResNet スタイルのアーキテクチャに対して過小評価されている有効性を明らかにします。
私たちは、DenseNets の可能性が見落とされてきたのは、手つかずのトレーニング方法と、その機能が完全に明らかにされていない従来の設計要素のせいだと考えています。
私たちのパイロット調査では、連結による高密度接続が強力であることが示されており、DenseNets を活性化して最新のアーキテクチャと競合できることが実証されています。
私たちは、アーキテクチャの調整、ブロックの再設計、連結ショートカットを維持しながら DenseNets の拡大とメモリ効率の向上に向けたトレーニング レシピの改善など、次善のコンポーネントを系統的に改良しています。
シンプルなアーキテクチャ要素を採用した私たちのモデルは、最終的に、残余学習系譜の主要なアーキテクチャである Swin Transformer、ConvNeXt、および DeiT-III を上回ります。
さらに、当社のモデルは、ImageNet-1K 上でほぼ最先端のパフォーマンスを示し、最新のモデルやダウンストリーム タスク、ADE20k セマンティック セグメンテーション、COCO オブジェクト検出/インスタンス セグメンテーションと競合します。
最後に、加算的ショートカットよりも連結の利点を明らかにする実証的分析を提供し、DenseNet スタイルの設計への新たな好みを導きます。
私たちのコードは https://github.com/naver-ai/rdnet で入手できます。

要約(オリジナル)

This paper revives Densely Connected Convolutional Networks (DenseNets) and reveals the underrated effectiveness over predominant ResNet-style architectures. We believe DenseNets’ potential was overlooked due to untouched training methods and traditional design elements not fully revealing their capabilities. Our pilot study shows dense connections through concatenation are strong, demonstrating that DenseNets can be revitalized to compete with modern architectures. We methodically refine suboptimal components – architectural adjustments, block redesign, and improved training recipes towards widening DenseNets and boosting memory efficiency while keeping concatenation shortcuts. Our models, employing simple architectural elements, ultimately surpass Swin Transformer, ConvNeXt, and DeiT-III – key architectures in the residual learning lineage. Furthermore, our models exhibit near state-of-the-art performance on ImageNet-1K, competing with the very recent models and downstream tasks, ADE20k semantic segmentation, and COCO object detection/instance segmentation. Finally, we provide empirical analyses that uncover the merits of the concatenation over additive shortcuts, steering a renewed preference towards DenseNet-style designs. Our code is available at https://github.com/naver-ai/rdnet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google