Energy Propagation in Scattering Convolution Networks Can Be Arbitrarily Slow

要約

マラーのウェーブレット散乱変換などの特徴抽出器として使用される深層畳み込みニューラル ネットワークのエネルギー減衰を分析します。
ガボール フィルターに基づく時間周波数散乱変換では、任意の二乗積分可能な入力信号に対してエネルギー減衰が指数関数的であることが確立されています。
私たちの主な結果により、これが任意の次元でのウェーブレット散乱に対して誤りであることが証明できます。
この設定では、一般的な二乗積分可能な信号に作用する散乱変換のエネルギー減衰が任意に遅くなることがわかります。
この動作が $L^2(\mathbb{R}^d)$ の密なサブセットに当てはまるという事実は、速いエネルギー減衰が一般に信号の安定した特性ではないことを強調します。
これらの発見を肯定的な結果で補完し、基礎となるフィルターバンクの周波数局在化に合わせて調整された一般化ソボレフ空間の高速（最大指数関数的）エネルギー減衰を結論付けることができます。
否定的な結果も肯定的な結果も、散乱ネットワークにおけるエネルギー減衰が、一方では信号のそれぞれの周波数局在の相互作用、他方では使用されたフィルターの相互作用に大きく依存していることを強調しています。

要約(オリジナル)

We analyze energy decay for deep convolutional neural networks employed as feature extractors, such as Mallat’s wavelet scattering transform. For time-frequency scattering transforms based on Gabor filters, it has been established that energy decay is exponential, for arbitrary square-integrable input signals. Our main results allow to prove that this is wrong for wavelet scattering in arbitrary dimensions. In this setting, the energy decay of the scattering transform acting on a generic square-integrable signal turns out to be arbitrarily slow. The fact that this behavior holds for dense subsets of $L^2(\mathbb{R}^d)$ emphasizes that fast energy decay is generally not a stable property of signals. We complement these findings with positive results allowing to conclude fast (up to exponential) energy decay for generalized Sobolev spaces that are tailored to the frequency localization of the underlying filter bank. Both negative and positive results highlight that energy decay in scattering networks critically depends on the interplay of the respective frequency localizations of the signal on the one hand, and of the employed filters on the other.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google