SD-Conv: Towards the Parameter-Efficiency of Dynamic Convolution

要約

動的畳み込みは、FLOP の増加を無視して、効率的な CNN のパフォーマンスを向上させます。
ただし、パフォーマンスの向上は、パラメータ数の大幅な増加に匹敵するものではなく、これが実際のアプリケーションの主なボトルネックとなっています。
対照的に、マスクベースの非構造化プルーニングでは、重いネットワークの冗長性を削除することで軽量のネットワークが得られます。
この論文では、動的メカニズムとスパース性の利点を継承できるように、これら 2 つのパスを自然に統合するための新しいフレームワーク \textbf{Sparse Dynamic Convolution} (\textsc{SD-Conv}) を提案します。
まず、静的カーネルをプルーニングするための学習可能なしきい値から派生したバイナリ マスクを設計し、パラメーターと計算コストを大幅に削減しながら、Imagenet-1K でより高いパフォーマンスを実現します。
さらに、事前トレーニングされたモデルをさまざまな下流タスクに転送し、ベースラインよりも一貫して優れた結果を示します。
私たちの SD-Conv が従来の動的畳み込みの効率的な代替手段となることを願っています。

要約(オリジナル)

Dynamic convolution achieves better performance for efficient CNNs at the cost of negligible FLOPs increase. However, the performance increase can not match the significantly expanded number of parameters, which is the main bottleneck in real-world applications. Contrastively, mask-based unstructured pruning obtains a lightweight network by removing redundancy in the heavy network. In this paper, we propose a new framework, \textbf{Sparse Dynamic Convolution} (\textsc{SD-Conv}), to naturally integrate these two paths such that it can inherit the advantage of dynamic mechanism and sparsity. We first design a binary mask derived from a learnable threshold to prune static kernels, significantly reducing the parameters and computational cost but achieving higher performance in Imagenet-1K. We further transfer pretrained models into a variety of downstream tasks, showing consistently better results than baselines. We hope our SD-Conv could be an efficient alternative to conventional dynamic convolutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google