Defects of Convolutional Decoder Networks in Frequency Representation

要約

本論文では、入力サンプルの異なる周波数成分を表現する能力を考慮し、カスケード接続された畳み込みデコーダネットワークの表現欠陥を証明する。デコーダネットワークの中間層において、特徴マップの各チャンネルに対して離散フーリエ変換を行う。次に、2次元円形畳み込み定理を拡張し、畳み込み層を通る前方伝搬と後方伝搬を周波数領域で表現する。これに基づいて、特徴スペクトルを表現する際の3つの欠陥を証明する。第一に、畳み込み演算、ゼロパディング演算、および他の一連の設定は全て、畳み込みデコーダネットワークを高周波成分を弱めやすくすることを証明する。第二に、アップサンプリング演算が、特定の周波数で強い信号が繰り返し現れる特徴スペクトルを生成することを証明する。第3に、入力サンプルの周波数成分と回帰対象出力の周波数成分のずれが小さい場合、デコーダは通常効果的に学習できないことを証明する。

要約(オリジナル)

In this paper, we prove the representation defects of a cascaded convolutional decoder network, considering the capacity of representing different frequency components of an input sample. We conduct the discrete Fourier transform on each channel of the feature map in an intermediate layer of the decoder network. Then, we extend the 2D circular convolution theorem to represent the forward and backward propagations through convolutional layers in the frequency domain. Based on this, we prove three defects in representing feature spectrums. First, we prove that the convolution operation, the zero-padding operation, and a set of other settings all make a convolutional decoder network more likely to weaken high-frequency components. Second, we prove that the upsampling operation generates a feature spectrum, in which strong signals repetitively appear at certain frequencies. Third, we prove that if the frequency components in the input sample and frequency components in the target output for regression have a small shift, then the decoder usually cannot be effectively learned.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL