Defects of Convolutional Decoder Networks in Frequency Representation

要約

この論文では、入力サンプルの異なる周波数成分を表現する能力を考慮して、カスケード畳み込みデコーダネットワークの表現のボトルネックを証明します。
デコーダーネットワークの中間層で、特徴マップの各チャネルで離散フーリエ変換を実行します。
次に、このような中間層スペクトル マップの順方向伝搬の規則を導入します。これは、畳み込み層を介した特徴マップの順方向伝搬と同等です。
これに基づいて、スペクトル マップ内の各周波数成分は、他の周波数成分とは独立して順方向に伝搬されることがわかります。
さらに、特徴スペクトルを表現する際の 2 つのボトルネックを証明します。
まず、畳み込み操作、ゼロ パディング操作、およびその他の設定のすべてが、畳み込みデコーダ ネットワークで高周波成分を弱める可能性が高くなることを証明します。
次に、アップサンプリング操作により、特定の周波数で強い信号が繰り返し現れる特徴スペクトルが生成されることを証明します。

要約(オリジナル)

In this paper, we prove representation bottlenecks of a cascaded convolutional decoder network, considering the capacity of representing different frequency components of an input sample. We conduct the discrete Fourier transform on each channel of the feature map in an intermediate layer of the decoder network. Then, we introduce the rule of the forward propagation of such intermediate-layer spectrum maps, which is equivalent to the forward propagation of feature maps through a convolutional layer. Based on this, we find that each frequency component in the spectrum map is forward propagated independently with other frequency components. Furthermore, we prove two bottlenecks in representing feature spectrums. First, we prove that the convolution operation, the zero-padding operation, and a set of other settings all make a convolutional decoder network more likely to weaken high-frequency components. Second, we prove that the upsampling operation generates a feature spectrum, in which strong signals repetitively appears at certain frequencies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google