On Generalization Bounds for Deep Compound Gaussian Neural Networks

要約

アルゴリズム展開またはアンローリングは、反復アルゴリズムからディープ ニューラル ネットワーク (DNN) を構築する手法です。
多くの場合、アンロール DNN は、信号推定タスクにおいて標準 DNN よりも優れた解釈可能性と優れた経験的パフォーマンスを提供します。
重要な理論的問題は、最近になって注目されるようになったものですが、展開された DNN の汎化誤差限界の開発です。
これらの境界は、DNN トレーニング データを生成する確率密度とは異なりますが、サンプリングされた経験的データセットに対する DNN のパフォーマンスに関する理論的かつ実践的な洞察を提供します。
この論文では、複合ガウス事前分布によって通知されるアンロール DNN のクラスに対する新しい一般化誤差限界を開発します。
これらの複合ガウス ネットワークは、圧縮センシングや断層撮影イメージングの問題において、比較標準および展開されたディープ ニューラル ネットワークよりも優れたパフォーマンスを発揮することが示されています。
一般化誤差限界は、複合ガウス ネットワーク推定クラスの Rademacher 複雑度を Dudley の積分で境界付けることによって定式化されます。
現実的な条件下では、最悪の場合、一般化誤差は信号次元で $\mathcal{O}(n\sqrt{\ln(n)})$ にスケールされ、$\mathcal{O}(($Network Size) になることがわかります。
ネットワーク サイズは $)^{3/2})$ です。

要約(オリジナル)

Algorithm unfolding or unrolling is the technique of constructing a deep neural network (DNN) from an iterative algorithm. Unrolled DNNs often provide better interpretability and superior empirical performance over standard DNNs in signal estimation tasks. An important theoretical question, which has only recently received attention, is the development of generalization error bounds for unrolled DNNs. These bounds deliver theoretical and practical insights into the performance of a DNN on empirical datasets that are distinct from, but sampled from, the probability density generating the DNN training data. In this paper, we develop novel generalization error bounds for a class of unrolled DNNs that are informed by a compound Gaussian prior. These compound Gaussian networks have been shown to outperform comparative standard and unfolded deep neural networks in compressive sensing and tomographic imaging problems. The generalization error bound is formulated by bounding the Rademacher complexity of the class of compound Gaussian network estimates with Dudley’s integral. Under realistic conditions, we show that, at worst, the generalization error scales $\mathcal{O}(n\sqrt{\ln(n)})$ in the signal dimension and $\mathcal{O}(($Network Size$)^{3/2})$ in network size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google