Probing the effects of broken symmetries in machine learning

要約

対称性は物理学における最も中心的な概念の 1 つであり、物理科学に適用される機械学習モデルの帰納的バイアスとしても広く採用されていることは驚くべきことではありません。
これは、原子スケールで物質の特性を対象としたモデルに特に当てはまります。
確立されたアプローチと最先端のアプローチはどちらも、ほとんど例外なく、原子の並進、置換、回転に対して正確に等価になるように構築されています。
対称性 (特に回転) を組み込むと、モデルの設計空間が制約され、多くの場合、計算能力も要求される、より複雑なアーキテクチャが必要になります。
非対称モデルはデータから対称性を簡単に学習でき、それがモデルの精度にとって有益になる可能性さえあるという兆候があります。
気相、液体、固体の水のシミュレーションを含む現実的なシナリオで、回転不変性にほぼのみ従うモデルをテストしました。
私たちは、対称性の破れによって直接的または間接的に影響を受ける可能性のある物理的観測量に特に焦点を当て、モデルが補間的なバルク領域で使用された場合に無視できる影響が生じることを発見しました。
気相の外挿予測の場合でも、対称性のアーティファクトは目立ちますが、モデルは非常に安定しています。
また、対称性の破れが発生した場合にその規模を体系的に低減するために使用できる戦略についても説明し、それらが観測値の収束に及ぼす影響を評価します。

要約(オリジナル)

Symmetry is one of the most central concepts in physics, and it is no surprise that it has also been widely adopted as an inductive bias for machine-learning models applied to the physical sciences. This is especially true for models targeting the properties of matter at the atomic scale. Both established and state-of-the-art approaches, with almost no exceptions, are built to be exactly equivariant to translations, permutations, and rotations of the atoms. Incorporating symmetries — rotations in particular — constrains the model design space and implies more complicated architectures that are often also computationally demanding. There are indications that non-symmetric models can easily learn symmetries from data, and that doing so can even be beneficial for the accuracy of the model. We put a model that obeys rotational invariance only approximately to the test, in realistic scenarios involving simulations of gas-phase, liquid, and solid water. We focus specifically on physical observables that are likely to be affected — directly or indirectly — by symmetry breaking, finding negligible consequences when the model is used in an interpolative, bulk, regime. Even for extrapolative gas-phase predictions, the model remains very stable, even though symmetry artifacts are noticeable. We also discuss strategies that can be used to systematically reduce the magnitude of symmetry breaking when it occurs, and assess their impact on the convergence of observables.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google