Dilated convolution with learnable spacings

要約

タイトル：学習可能スペーシングを持つ拡張畳み込み
要約：
– CNNは視覚トランスフォーマーとそのアテンションメカニズムと競合するために大きな受容野を必要としているため、最近の研究では大きな受容野が必要となっている。
– 2Dの場合、畳み込みカーネルのサイズを大きくすることによって受容野を簡単に拡大することができるが、カーネルのサイズとトレーニングされるパラメータの数が二次関数的に拡大し、トレーニングが困難になる。
– この論文では、パラメータの数を増やさずに受容野のサイズを増やす新しい手法を提案している。この手法は、拡張畳み込み（DC）と呼ばれ、定期的なグリッド上にいくつかの非ゼロ要素しか含まれないカーネルで畳み込みを行うものである。
– 提案手法はDCLSとして知られる、非ゼロ要素のスペーシングまたは同等の位置がbackpropagationによって学習可能な新しいバージョンのDCを提供することを目的としている。 この手法は、n次元畳み込みの場合に汎用化も行っているが、主に2Dの場合に焦点を当てている。
– ResNet50と最近のCNNアーキテクチャConvNeXt上で試した結果、DCLSに置き換えた場合、ImageNet1k分類の精度がiso-パラメーターで向上したが、スループットには影響が出た。しかし、ConvNeXtの場合、深い畳み込みをDCLSで置き換えたことにより、Iso-パラメーターでさまざまな下流タスクや強健性の向上も見られた。
– ResNet50とConvNeXtの場合、従来のDCは性能が低かった。提案手法のコードは、https://github.com/K-H-Ismail/Dilated-Convolution-with-Learnable-Spacings-PyTorchから利用可能である。

要約(オリジナル)

Recent works indicate that convolutional neural networks (CNN) need large receptive fields (RF) to compete with visual transformers and their attention mechanism. In CNNs, RFs can simply be enlarged by increasing the convolution kernel sizes. Yet the number of trainable parameters, which scales quadratically with the kernel’s size in the 2D case, rapidly becomes prohibitive, and the training is notoriously difficult. This paper presents a new method to increase the RF size without increasing the number of parameters. The dilated convolution (DC) has already been proposed for the same purpose. DC can be seen as a convolution with a kernel that contains only a few non-zero elements placed on a regular grid. Here we present a new version of the DC in which the spacings between the non-zero elements, or equivalently their positions, are no longer fixed but learnable via backpropagation thanks to an interpolation technique. We call this method ‘Dilated Convolution with Learnable Spacings’ (DCLS) and generalize it to the n-dimensional convolution case. However, our main focus here will be on the 2D case. We first tried our approach on ResNet50: we drop-in replaced the standard convolutions with DCLS ones, which increased the accuracy of ImageNet1k classification at iso-parameters, but at the expense of the throughput. Next, we used the recent ConvNeXt state-of-the-art convolutional architecture and drop-in replaced the depthwise convolutions with DCLS ones. This not only increased the accuracy of ImageNet1k classification but also of typical downstream and robustness tasks, again at iso-parameters but this time with negligible cost on throughput, as ConvNeXt uses separable convolutions. Conversely, classic DC led to poor performance with both ResNet50 and ConvNeXt. The code of the method is available at: https://github.com/K-H-Ismail/Dilated-Convolution-with-Learnable-Spacings-PyTorch.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI