要約
最近の研究では、繰り込み群理論が、反復的な大きさの枝刈りによるニューラル ネットワークの枝刈りプロセスを記述するための有用なフレームワークであることが示されています。
このレポートは、RG 理論と IMP の関係を正式に説明し、宝くじの仮説と弾性宝くじの仮説に関する以前の結果を、微分方程式を解くためのハミルトニアン ニューラル ネットワークに拡張します。
2 つのハミルトニアン ニューラル ネットワークの宝くじを見つけ、精度は統合時間に依存しながら、2 つのシステム間の転送可能性を実証します。
次に、RG の観点からツールを使用して、2 つのシステムの普遍性が分析されます。
要約(オリジナル)
Recent work has shown that renormalisation group theory is a useful framework with which to describe the process of pruning neural networks via iterative magnitude pruning. This report formally describes the link between RG theory and IMP and extends previous results around the Lottery Ticket Hypothesis and Elastic Lottery Hypothesis to Hamiltonian Neural Networks for solving differential equations. We find lottery tickets for two Hamiltonian Neural Networks and demonstrate transferability between the two systems, with accuracy being dependent on integration times. The universality of the two systems is then analysed using tools from an RG perspective.
arxiv情報
| 著者 | Edward Prideaux-Ghee |
| 発行日 | 2023-06-16 14:18:47+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google