State space representations of the Roesser type for convolutional layers

要約

制御理論の観点から見ると、(ニューラル ネットワークの) 畳み込み層は 2 次元 (または N 次元) 線形時不変動的システムです。
畳み込みカーネルによる畳み込み層の通常の表現は、インパルス応答による動的システムの表現に対応します。
ただし、線形行列不等式など、制御理論の多くの解析ツールでは状態空間表現が必要です。
このため、$c_\mathrm{in}r_1 + c_\mathrm{out}r_2$ 状態を持つ 2 次元畳み込み層の Roesser 型の状態空間表現を明示的に提供します。ここで、$c_\mathrm{in}$
/$c_\mathrm{out}$ は層の入出力チャネルの数であり、$r_1$/$r_2$ は畳み込みカーネルの幅/長さを特徴付けます。
この表現は $c_\mathrm{in} = c_\mathrm{out}$ に対して最小であることが示されています。
さらに、拡張畳み込み、ストライド畳み込み、N 次元畳み込みの状態空間表現を構築します。

要約(オリジナル)

From the perspective of control theory, convolutional layers (of neural networks) are 2-D (or N-D) linear time-invariant dynamical systems. The usual representation of convolutional layers by the convolution kernel corresponds to the representation of a dynamical system by its impulse response. However, many analysis tools from control theory, e.g., involving linear matrix inequalities, require a state space representation. For this reason, we explicitly provide a state space representation of the Roesser type for 2-D convolutional layers with $c_\mathrm{in}r_1 + c_\mathrm{out}r_2$ states, where $c_\mathrm{in}$/$c_\mathrm{out}$ is the number of input/output channels of the layer and $r_1$/$r_2$ characterizes the width/length of the convolution kernel. This representation is shown to be minimal for $c_\mathrm{in} = c_\mathrm{out}$. We further construct state space representations for dilated, strided, and N-D convolutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google