Convolutional Layers Are Not Translation Equivariant

要約

このホワイトペーパーの目的は、畳み込みニューラルネットワーク（CNN）に関する誤解を正すことです。
CNNは、重みの共有によりシフト同変である畳み込み層で構成されています。
ただし、一般的な信念に反して、境界効果が無視され、プーリングとサブサンプリングがない場合でも、畳み込み層は並進同変ではありません。
これは、シフト同変が離散対称であるのに対し、並進同変は連続対称であるためです。
離散システムが一般に連続同変を継承しないことは、同変深層学習の基本的な制限です。
この事実の2つの意味について説明します。
まず、CNNは、モデル化する物理システムの変換同変を継承していないにもかかわらず、画像処理で成功を収めています。
第2に、CNNを使用して偏微分方程式（PDE）を解くと、変換同変ソルバーは生成されません。

要約(オリジナル)

The purpose of this paper is to correct a misconception about convolutional neural networks (CNNs). CNNs are made up of convolutional layers which are shift equivariant due to weight sharing. However, contrary to popular belief, convolutional layers are not translation equivariant, even when boundary effects are ignored and when pooling and subsampling are absent. This is because shift equivariance is a discrete symmetry while translation equivariance is a continuous symmetry. That discrete systems do not in general inherit continuous equivariances is a fundamental limitation of equivariant deep learning. We discuss two implications of this fact. First, CNNs have achieved success in image processing despite not inheriting the translation equivariance of the physical systems they model. Second, using CNNs to solve partial differential equations (PDEs) will not result in translation equivariant solvers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google