The Copycat Perceptron: Smashing Barriers Through Collective Learning

要約

教師と生徒のシナリオにおける $y$ 結合バイナリ パーセプトロンのモデルの平衡特性を、学習規則に従い、生徒の重み間のハミング距離に比例する明示的な強磁性結合で特徴付けます。
最近の研究とは対照的に、私たちは、各生徒の汎化能力に影響を与える熱雑音が存在する、より一般的な設定を分析します。
ゼロ以外の温度領域では、レプリカの結合により状態図が $\alpha$ のより小さい値に向かって曲がることがわかります。これは、自由エネルギーの状況が完全な一般化 (つまり、教師の) を備えた解の周囲でより滑らかになることを示唆しています。
これにより、シミュレーテッド アニーリングなどの標準的な熱アップデートが教師解に簡単に到達し、いわゆる計算が容易な領域であっても、複製されていないケースで発生する準安定状態への閉じ込めを回避できます。
これらの結果は、十分な数のレプリカに対する Replicated Simulated Annealing (RSA) の最近推測されたベイズ最適特性についての追加の分析的および数値的証拠を提供します。
学習の観点から見ると、これらの結果は、複数の生徒が一緒に作業している (この場合は同じデータをレビューしている) と、同じルールを大幅に速く、少ない例で学習できることも示唆しています。この特性は、協力的かつ協力的な状況で活用できる可能性があります。
連合学習。

要約(オリジナル)

We characterize the equilibrium properties of a model of $y$ coupled binary perceptrons in the teacher-student scenario, subject to a learning rule, with an explicit ferromagnetic coupling proportional to the Hamming distance between the students’ weights. In contrast to recent works, we analyze a more general setting in which thermal noise is present that affects each student’s generalization performance. In the nonzero temperature regime, we find that the coupling of replicas produces a bend of the phase diagram towards smaller values of $\alpha$: This suggests that the free energy landscape gets smoother around the solution with perfect generalization (i.e., the teacher’s) at a fixed fraction of examples, allowing standard thermal updates such as Simulated Annealing to easily reach the teacher solution and avoid entrapment in metastable states as it happens in the unreplicated case, even in the so-called computationally easy regime. These results provide additional analytic and numerical evidence for the recently conjectured Bayes-optimal property of Replicated Simulated Annealing (RSA) for a sufficient number of replicas. From a learning perspective, these results also suggest that multiple students working together (in this case reviewing the same data) are able to learn the same rule both significantly faster and with fewer examples, a property that could be exploited in the context of cooperative and federated learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google