Modelling Structured Data Learning with Restricted Boltzmann Machines in the Teacher-Student Setting

要約

制限付きボルツマン マシン (RBM) は、豊富な基礎構造を持つデータを学習できる生成モデルです。
私たちは、教師 RBM によって生成された構造化データを生徒 RBM が学習する教師と生徒の設定を研究します。
データ内の構造の量は、教師の隠れユニットの数と重みの行の相関関係 (別名パターン) を調整することによって制御されます。
相関関係がない場合、パフォーマンスは教師のパターンと生徒の RBM の隠れユニットの数に依存しないという推測が検証され、教師と生徒の設定は宝くじを研究するためのおもちゃのモデルとして使用できると主張します。
仮説。
この体制を超えると、教師パターンを学習するために必要な重要なデータ量が、その数と相関関係の両方とともに減少することがわかります。
どちらの領域でも、比較的大規模なデータセットであっても、正則化に使用される推論温度が低すぎると教師パターンを学習することが不可能になることがわかります。
私たちのフレームワークでは、生徒は教師のパターンを 1 対 1 または多対 1 で学習でき、2 つの隠れユニットによる教師と生徒の設定に関する以前の発見を、任意の有限数の隠れユニットに一般化します。

要約(オリジナル)

Restricted Boltzmann machines (RBM) are generative models capable to learn data with a rich underlying structure. We study the teacher-student setting where a student RBM learns structured data generated by a teacher RBM. The amount of structure in the data is controlled by adjusting the number of hidden units of the teacher and the correlations in the rows of the weights, a.k.a. patterns. In the absence of correlations, we validate the conjecture that the performance is independent of the number of teacher patters and hidden units of the student RBMs, and we argue that the teacher-student setting can be used as a toy model for studying the lottery ticket hypothesis. Beyond this regime, we find that the critical amount of data required to learn the teacher patterns decreases with both their number and correlations. In both regimes, we find that, even with an relatively large dataset, it becomes impossible to learn the teacher patterns if the inference temperature used for regularization is kept too low. In our framework, the student can learn teacher patterns one-to-one or many-to-one, generalizing previous findings about the teacher-student setting with two hidden units to any arbitrary finite number of hidden units.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google