Emergent learning in physical systems as feedback-based aging in a glassy landscape

要約

線形物理ネットワークをトレーニングして線形変換を学習することで、重み更新ルールによって物理的特性がどのように変化するかを識別します。
私たちの発見は、そのようなネットワークの学習行動と、無秩序でガラス質のシステムにおける老化および記憶形成のプロセスとの間に顕著な類似性があることを浮き彫りにしています。
学習ダイナミクスは老化プロセスに似ており、入力力の存在下でフィードバック境界力が繰り返し適用されるとシステムが緩和し、入出力関係の記憶がエンコードされることを示します。
この緩和により、相関長が増加します。これは、ネットワークのコンポーネントの 2 点相関関数によって示されます。
また、エポックの関数としての平均二乗誤差の平方根が非指数関数的な形をとることも観察されており、これはガラス系の典型的な特徴です。
この物理的解釈は、より詳細な情報を入力境界力とフィードバック境界力にエンコードすることによって、創発学習のプロセスがかなり遍在する可能性があり、したがって、進化の観点から、生物システムにおける学習のための非常に初期の物理的メカニズムとして機能する可能性があることを示唆しています。

要約(オリジナル)

By training linear physical networks to learn linear transformations, we discern how their physical properties evolve due to weight update rules. Our findings highlight a striking similarity between the learning behaviors of such networks and the processes of aging and memory formation in disordered and glassy systems. We show that the learning dynamics resembles an aging process, where the system relaxes in response to repeated application of the feedback boundary forces in presence of an input force, thus encoding a memory of the input-output relationship. With this relaxation comes an increase in the correlation length, which is indicated by the two-point correlation function for the components of the network. We also observe that the square root of the mean-squared error as a function of epoch takes on a non-exponential form, which is a typical feature of glassy systems. This physical interpretation suggests that by encoding more detailed information into input and feedback boundary forces, the process of emergent learning can be rather ubiquitous and, thus, serve as a very early physical mechanism, from an evolutionary standpoint, for learning in biological systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google