Noether’s razor: Learning Conserved Quantities

要約

対称性は機械学習モデルで有用であることが証明されており、一般化と全体的なパフォーマンスが向上します。
同時に、動的システムの学習における最近の進歩は、エネルギー保存を保証するための基礎となるハミルトニアンのモデル化に依存しています。
これらのアプローチは、数理物理学における独創的な結果、つまり力学系の対称性が保存された量に対応すると述べるネーターの定理を介して結び付けることができます。
この研究では、ネーターの定理を使用して、対称性を学習可能な保存量としてパラメーター化します。
次に、保存された量と関連する対称性を、通常のトレーニング手順と組み合わせて、近似ベイジアン モデルの選択を通じてトレーニング データから直接学習できるようにします。
トレーニングの目的として、限界尤度の変分下限を導出します。
この目標は、手動で正則化関数を追加したり調整したりする必要がなく、保存則が自明な定数に崩れることを回避するオッカムの剃刀効果を自動的に具体化します。
$n$-調和振動子と$n$-bodyシステムの原理証明を実証します。
私たちの方法は正しい保存量と U($n$) および SE($n$) 対称群を正確に識別し、テスト データの全体的なパフォーマンスと予測精度を向上させることがわかりました。

要約(オリジナル)

Symmetries have proven useful in machine learning models, improving generalisation and overall performance. At the same time, recent advancements in learning dynamical systems rely on modelling the underlying Hamiltonian to guarantee the conservation of energy. These approaches can be connected via a seminal result in mathematical physics: Noether’s theorem, which states that symmetries in a dynamical system correspond to conserved quantities. This work uses Noether’s theorem to parameterise symmetries as learnable conserved quantities. We then allow conserved quantities and associated symmetries to be learned directly from train data through approximate Bayesian model selection, jointly with the regular training procedure. As training objective, we derive a variational lower bound to the marginal likelihood. The objective automatically embodies an Occam’s Razor effect that avoids collapse of conservation laws to the trivial constant, without the need to manually add and tune additional regularisers. We demonstrate a proof-of-principle on $n$-harmonic oscillators and $n$-body systems. We find that our method correctly identifies the correct conserved quantities and U($n$) and SE($n$) symmetry groups, improving overall performance and predictive accuracy on test data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google