The Copycat Perceptron: Smashing Barriers Through Collective Learning

要約

教師と生徒のシナリオにおける $y$ 結合バイナリ パーセプトロンのモデルの平衡特性を、生徒の重み間のハミング距離に比例する明示的な強磁性結合を使用して、適切な学習規則に従って特徴付けます。
最近の研究とは対照的に、各生徒の汎化能力に影響を与える熱雑音が存在する、より一般的な設定を分析します。
具体的には、教師の処方に関してサンプルを誤分類する構成にゼロ以外の確率を割り当てるゼロ以外の温度の存在下では、レプリカの結合により状態図が $\alpha$ のより小さい値にシフトすることがわかります。
これは、レビューされた例の固定部分で適切な一般化 (つまり、教師) が行われた解の周りで自由エネルギーの状況がよりスムーズになり、シミュレーション アニーリングなどのローカル更新アルゴリズムがダイナミクスがフリーズする前に解に到達できることを示唆しています。
最後に、学習の観点から見ると、これらの結果は、より少ない量のデータと組み合わせることで、より多くの生徒 (この場合は同じ量のデータ) が同じルールを学習できることを示唆しています。

要約(オリジナル)

We characterize the equilibrium properties of a model of $y$ coupled binary perceptrons in the teacher-student scenario, subject to a suitable learning rule, with an explicit ferromagnetic coupling proportional to the Hamming distance between the students’ weights. In contrast to recent works, we analyze a more general setting in which a thermal noise is present that affects the generalization performance of each student. Specifically, in the presence of a nonzero temperature, which assigns nonzero probability to configurations that misclassify samples with respect to the teacher’s prescription, we find that the coupling of replicas leads to a shift of the phase diagram to smaller values of $\alpha$: This suggests that the free energy landscape gets smoother around the solution with good generalization (i.e., the teacher) at a fixed fraction of reviewed examples, which allows local update algorithms such as Simulated Annealing to reach the solution before the dynamics gets frozen. Finally, from a learning perspective, these results suggest that more students (in this case, with the same amount of data) are able to learn the same rule when coupled together with a smaller amount of data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google