Padding-free Convolution based on Preservation of Differential Characteristics of Kernels

要約

畳み込みは、画像処理と機械学習の基本的な操作です。
パディングは主に画像サイズを維持することを目的とした畳み込みの重要な要素ですが、望ましくない境界効果が発生する可能性があります。
カーネルの差分特性の保存に基づいてサイズ維持畳み込みのための非パディングベースの方法を提案します。
主なアイデアは、不完全なスライディング ウィンドウの畳み込みを、中心ピクセルでローカルに評価される線形微分演算子に「折りたたむ」ことで、隣接する欠落ピクセルからの情報を必要としなくなります。
基礎となる理論は厳密ですが、最終的な式は単純であることが判明しました。不完全なウィンドウの畳み込みは、最も近い完全なウィンドウを変換されたカーネルで畳み込むことによって達成されます。
この式は計算が軽量であり、内挿や外挿、あるいはイメージとカーネルのサイズの制限を伴いません。
私たちの方法では、高解像度の画像や物理フィールドなど、境界が滑らかなデータが好まれます。
私たちの実験には、i) 計算物理学からの分析フィールドと非分析フィールドのフィルタリング、ii) 画像分類、セマンティック セグメンテーション、および超解像度再構成のタスクのための畳み込みニューラル ネットワーク (CNN) のトレーニングが含まれます。
これらすべての実験において、私たちの方法は比較されたものよりも明らかな優位性を示しました。

要約(オリジナル)

Convolution is a fundamental operation in image processing and machine learning. Aimed primarily at maintaining image size, padding is a key ingredient of convolution, which, however, can introduce undesirable boundary effects. We present a non-padding-based method for size-keeping convolution based on the preservation of differential characteristics of kernels. The main idea is to make convolution over an incomplete sliding window ‘collapse’ to a linear differential operator evaluated locally at its central pixel, which no longer requires information from the neighbouring missing pixels. While the underlying theory is rigorous, our final formula turns out to be simple: the convolution over an incomplete window is achieved by convolving its nearest complete window with a transformed kernel. This formula is computationally lightweight, involving neither interpolation or extrapolation nor restrictions on image and kernel sizes. Our method favours data with smooth boundaries, such as high-resolution images and fields from physics. Our experiments include: i) filtering analytical and non-analytical fields from computational physics and, ii) training convolutional neural networks (CNNs) for the tasks of image classification, semantic segmentation and super-resolution reconstruction. In all these experiments, our method has exhibited visible superiority over the compared ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google