Generalization and Estimation Error Bounds for Model-based Neural Networks

要約

【タイトル】モデルベースのニューラルネットワークの一般化と推定誤差境界
【要約】
– モデルベースのニューラルネットワークは、スパースコーディングや圧縮感知問題など様々なタスクにおいて卓越したパフォーマンスを発揮し、感知モデルと強い関連性を持つため解釈可能である。
– 実践的には、モデルベースのニューラルネットワークはReLUニューラルネットワークに比べて高い一般化能力を持つが、この現象については理論的には未解決であった。
– 本研究では、グローバルおよびローカルRademacher複雑度等の複雑度指標を用いて、モデルベースネットワークの一般化および推定誤差の上限を提供する。
– スパース回復のためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れており、高い一般化が保証されたモデルベースネットワークの構築を実現するための実用的な設計ルールを導出する。
– 実験結果から、理論的洞察は、ISTAおよびADMMネットワークが一般的なReLUネットワークに比べて高い一般化能力を持つ（特にトレーニングサンプル数が少ない場合）ことを明らかにする。

要約(オリジナル)

Model-based neural networks provide unparalleled performance for various tasks, such as sparse coding and compressed sensing problems. Due to the strong connection with the sensing model, these networks are interpretable and inherit prior structure of the problem. In practice, model-based neural networks exhibit higher generalization capability compared to ReLU neural networks. However, this phenomenon was not addressed theoretically. Here, we leverage complexity measures including the global and local Rademacher complexities, in order to provide upper bounds on the generalization and estimation errors of model-based networks. We show that the generalization abilities of model-based networks for sparse recovery outperform those of regular ReLU networks, and derive practical design rules that allow to construct model-based networks with guaranteed high generalization. We demonstrate through a series of experiments that our theoretical insights shed light on a few behaviours experienced in practice, including the fact that ISTA and ADMM networks exhibit higher generalization abilities (especially for small number of training samples), compared to ReLU networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI