High-dimensional Asymptotics of Denoising Autoencoders

要約

私たちは、結合された重みとスキップ接続を備えた 2 層の非線形オートエンコーダーを使用して、ガウス混合からデータをノイズ除去する問題に対処します。
隠れユニットの数が制限されたままである一方で、トレーニング サンプルの数と入力次元が合わせて無限大になる傾向がある高次元の制限を考慮します。
ノイズ除去平均二乗テスト誤差の閉じた形式の式を提供します。
この結果に基づいて、主成分分析に密接に関連するスキップ接続のないオートエンコーダに対する考慮されたアーキテクチャの利点を定量的に特徴付けます。
さらに、私たちの結果がさまざまな実際のデータセットの学習曲線を正確に捉えていることを示します。

要約(オリジナル)

We address the problem of denoising data from a Gaussian mixture using a two-layer non-linear autoencoder with tied weights and a skip connection. We consider the high-dimensional limit where the number of training samples and the input dimension jointly tend to infinity while the number of hidden units remains bounded. We provide closed-form expressions for the denoising mean-squared test error. Building on this result, we quantitatively characterize the advantage of the considered architecture over the autoencoder without the skip connection that relates closely to principal component analysis. We further show that our results accurately capture the learning curves on a range of real data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google