Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding

要約

タイトル – ソフトしきい値付きの二層畳み込みニューラルネットワークの凸二重理論分析
要約 – ソフトしきい値付きはニューラルネットワークで広く使用されています。その基本的なネットワーク構造は、ソフトしきい値付きの二層畳み込みニューラルネットワークです。ネットワークの非線形性と非凸性により、トレーニングプロセスはネットワークパラメータの適切な初期化に大きく依存し、大域的最適解を得ることが困難です。この問題に対処するために、凸二重ネットワークがここで設計されています。ネットワークの凸性を理論的に分析し、強い双対性が成立することを数値的に確認します。この結論は線形フィッティングおよびノイズ除去実験でもさらに検証されます。この作業は、ソフトしきい値ニューラルネットワークを凸化する新しい方法を提供します。

– ソフトしきい値付きの二層畳み込みニューラルネットワークは、広く使用されており、トレーニングは大域的最適解を得ることが困難であるため改善が必要である。
– 凸二重ネットワークが設計され、ネットワークの凸性を理論的に分析することができた。
– 強い双対性が成立することを数値的に確認し、線形フィッティングおよびノイズ除去実験でもさらに検証された。
– この作業は、ソフトしきい値ニューラルネットワークを凸化する新しい方法を提供します。

要約(オリジナル)

Soft-thresholding has been widely used in neural networks. Its basic network structure is a two-layer convolution neural network with soft-thresholding. Due to the network’s nature of nonlinearity and nonconvexity, the training process heavily depends on an appropriate initialization of network parameters, resulting in the difficulty of obtaining a globally optimal solution. To address this issue, a convex dual network is designed here. We theoretically analyze the network convexity and numerically confirm that the strong duality holds. This conclusion is further verified in the linear fitting and denoising experiments. This work provides a new way to convexify soft-thresholding neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI