Deep Learning Meets Sparse Regularization: A Signal Processing Perspective

要約

ディープラーニングは実際に大きな成功を収めており、最先端の機械学習手法のほとんどはニューラル ネットワークに基づいています。
しかし、ディープ ニューラル ネットワークの驚くべきパフォーマンスを適切に説明する厳密な数学理論が不足しています。
この記事では、ディープラーニングをより深く理解するための始まりとなる、比較的新しい数学的フレームワークを紹介します。
このフレームワークは、データに適合するようにトレーニングされたニューラル ネットワークの機能特性を正確に特徴付けます。
このフレームワークをサポートする主要な数学ツールには、変換領域のスパース正則化、コンピューター断層撮影のラドン変換、および近似理論が含まれます。これらはすべて信号処理に深く根ざした技術です。
このフレームワークは、ニューラル ネットワークのトレーニングにおける重み減衰の正則化の効果、ネットワーク アーキテクチャにおけるスキップ接続と低ランクの重み行列の使用、ニューラル ネットワークにおけるスパース性の役割を説明し、ニューラル ネットワークが高次元の問題で良好なパフォーマンスを発揮できる理由を説明します。
。

要約(オリジナル)

Deep learning has been wildly successful in practice and most state-of-the-art machine learning methods are based on neural networks. Lacking, however, is a rigorous mathematical theory that adequately explains the amazing performance of deep neural networks. In this article, we present a relatively new mathematical framework that provides the beginning of a deeper understanding of deep learning. This framework precisely characterizes the functional properties of neural networks that are trained to fit to data. The key mathematical tools which support this framework include transform-domain sparse regularization, the Radon transform of computed tomography, and approximation theory, which are all techniques deeply rooted in signal processing. This framework explains the effect of weight decay regularization in neural network training, the use of skip connections and low-rank weight matrices in network architectures, the role of sparsity in neural networks, and explains why neural networks can perform well in high-dimensional problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google