Learning with Restricted Boltzmann Machines: Asymptotics of AMP and GD in High Dimensions

要約

制限付きボルツマンマシン（RBM）は、入力分布を学習できる最も単純な生成ニューラルネットワークの1つです。
その単純さにもかかわらず、トレーニングデータからの学習におけるパフォーマンスの分析は、データの特異値分解に本質的に減少する場合にのみよく理解されています。
ここでは、入力スペースの大きな寸法の限界と一定の数の隠されたユニットを検討します。
この制限では、標準のRBMトレーニング目標を、分離不可能な正則化を伴うマルチインデックスモデルに相当するフォームに簡素化します。
これにより、近似メッセージパッシング（AMP）やその状態進化などのマルチインデックスモデル用に確立されたメソッド、および動的平均フィールド理論を介した勾配降下（GD）の分析を使用して、RBMのトレーニングを分析するパスが開かれます。
次に、監視されていない学習に適した構造のプロトタイプとして、スパイクされた共分散モデルによって生成されたデータ上で、RBMのトレーニングダイナミクスの厳密な漸近性を提供します。
特に、RBMは、スパイクされた共分散モデルで、BBP遷移に合わせて最適な計算弱い回復しきい値に達することを示しています。

要約(オリジナル)

The Restricted Boltzmann Machine (RBM) is one of the simplest generative neural networks capable of learning input distributions. Despite its simplicity, the analysis of its performance in learning from the training data is only well understood in cases that essentially reduce to singular value decomposition of the data. Here, we consider the limit of a large dimension of the input space and a constant number of hidden units. In this limit, we simplify the standard RBM training objective into a form that is equivalent to the multi-index model with non-separable regularization. This opens a path to analyze training of the RBM using methods that are established for multi-index models, such as Approximate Message Passing (AMP) and its state evolution, and the analysis of Gradient Descent (GD) via the dynamical mean-field theory. We then give rigorous asymptotics of the training dynamics of RBM on data generated by the spiked covariance model as a prototype of a structure suitable for unsupervised learning. We show in particular that RBM reaches the optimal computational weak recovery threshold, aligning with the BBP transition, in the spiked covariance model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google