How a student becomes a teacher: learning and forgetting through Spectral methods

要約

理論的なMLでは、現実の授業の効果的なメタファーとして、教師と生徒のパラダイムがしばしば採用される。上記のスキームは、生徒のネットワークが教師のネットワークに比べてオーバーパラメータ化されている場合に、特に適切であることがわかる。このような動作条件下では、与えられたタスクを処理する生徒の能力は、最終的にネットワーク全体の一部分に保存される可能性があると推測したくなる。この後者は、適切な測定基準に従って、凍結された教師構造をある程度彷彿とさせ、一方で生徒候補ネットワークの異なるアーキテクチャ間でほぼ不変であるべきである。残念なことに、最先端の従来の学習技術では、このような不変なサブネットワークの存在を特定することはできなかった。本研究では、層間の線形情報伝達のスペクトル表現に基づく、根本的に異なる最適化スキームを提案することにより、飛躍的な前進を遂げる。そのため、勾配は固有値と固有ベクトルの両方に関して計算され、標準的な学習アルゴリズムと比較して、計算量と複雑さの負荷は無視できるほど増加する。このフレームワークでは、ニューロン、パス分布、トポロジカル属性の計算において、教師の真の複雑さを反映する安定した生徒の部分構造を分離することができる。最適化された固有値を反映するランキングに従って、訓練された生徒の重要でないノードを刈り込むと、有効な教師サイズに対応する閾値以上では、記録された性能の劣化は見られない。観測された振る舞いは、普遍性の特徴を持つ本物の2次相転移として描くことができる。

要約(オリジナル)

In theoretical ML, the teacher-student paradigm is often employed as an effective metaphor for real-life tuition. The above scheme proves particularly relevant when the student network is overparameterized as compared to the teacher network. Under these operating conditions, it is tempting to speculate that the student ability to handle the given task could be eventually stored in a sub-portion of the whole network. This latter should be to some extent reminiscent of the frozen teacher structure, according to suitable metrics, while being approximately invariant across different architectures of the student candidate network. Unfortunately, state-of-the-art conventional learning techniques could not help in identifying the existence of such an invariant subnetwork, due to the inherent degree of non-convexity that characterizes the examined problem. In this work, we take a leap forward by proposing a radically different optimization scheme which builds on a spectral representation of the linear transfer of information between layers. The gradient is hence calculated with respect to both eigenvalues and eigenvectors with negligible increase in terms of computational and complexity load, as compared to standard training algorithms. Working in this framework, we could isolate a stable student substructure, that mirrors the true complexity of the teacher in terms of computing neurons, path distribution and topological attributes. When pruning unimportant nodes of the trained student, as follows a ranking that reflects the optimized eigenvalues, no degradation in the recorded performance is seen above a threshold that corresponds to the effective teacher size. The observed behavior can be pictured as a genuine second-order phase transition that bears universality traits.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL