Reconstructing Pruned Filters using Cheap Spatial Transformations

要約

我々は、安価な空間変換を用いた畳み込み層の効率的な代替案を提示する。この構成は、学習された畳み込みフィルタに内在する空間的な冗長性を利用することで、密なフィルタと同等のトップエンドの精度を維持しつつ、より大きなパラメータ効率を可能にする。これらのネットワークの学習は一般化された刈り込み問題としてモデル化され、刈り込まれたフィルターは刈り込まれていないフィルターの集合から安価な変換で置き換えられる。提案するレイヤーの効率的な実装と、過剰な特徴圧縮を回避し、変換された特徴の表現力を向上させるための2つの自然な拡張を提供する。これらのネットワークが、CIFAR-10とImageNet-1Kの両データセットにおいて、最先端の刈り込みモデルと同等かそれ以上の性能を達成できることを示す。

要約(オリジナル)

We present an efficient alternative to the convolutional layer using cheap spatial transformations. This construction exploits an inherent spatial redundancy of the learned convolutional filters to enable a much greater parameter efficiency, while maintaining the top-end accuracy of their dense counter-parts. Training these networks is modelled as a generalised pruning problem, whereby the pruned filters are replaced with cheap transformations from the set of non-pruned filters. We provide an efficient implementation of the proposed layer, followed by two natural extensions to avoid excessive feature compression and to improve the expressivity of the transformed features. We show that these networks can achieve comparable or improved performance to state-of-the-art pruning models across both the CIFAR-10 and ImageNet-1K datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL