A Unified Framework to Enforce, Discover, and Promote Symmetry in Machine Learning

要約

対称性は自然界全体に存在し、物理学と機械学習においてますます中心的な役割を果たし続けています。
ポアンカレ不変性などの基本的な対称性により、地球上の実験室で発見された物理法則を宇宙の果てまで外挿することができます。
機械学習アプリケーションでこの外挿能力を実現するには、対称性が不可欠です。
たとえば、画像分類における変換不変性により、畳み込みニューラル ネットワークなどのパラメーターが少ないモデルをより小さなデータ セットでトレーニングし、最先端のパフォーマンスを実現できます。
この論文では、次の 3 つの方法で機械学習モデルに対称性を組み込むための統一的な理論的および方法論的なフレームワークを提供します。 1. モデルのトレーニング時に既知の対称性を強制する。
2. 特定のモデルまたはデータセットの未知の対称性を発見する。
3. データに十分な証拠がある場合に、ユーザーが指定した候補グループ内で対称性を破るモデルを学習することで、トレーニング中に対称性を促進します。
我々は、これらのタスクが、ベクトル束上のファイバー線形リー群作用に関連するリー導関数を中心とする共通の数学的枠組み内でキャストできることを示します。
対称性の強制と発見は、リー導関数の双一次構造に関して双対的な線形代数的タスクであることを示すことにより、いくつかの既存の結果を拡張および統合します。
また、機械学習モデルのトレーニング中に対称性の破れにペナルティを与えるために、リー導関数と核ノルム緩和に基づく凸正則化関数のクラスを導入することにより、対称性を促進する新しい方法を提案します。
これらのアイデアを、基底関数回帰、動的システム発見、ニューラル ネットワーク、フィールドに作用するニューラル オペレーターなどの幅広い機械学習モデルにどのように適用できるかを説明します。

要約(オリジナル)

Symmetry is present throughout nature and continues to play an increasingly central role in physics and machine learning. Fundamental symmetries, such as Poincar\'{e} invariance, allow physical laws discovered in laboratories on Earth to be extrapolated to the farthest reaches of the universe. Symmetry is essential to achieving this extrapolatory power in machine learning applications. For example, translation invariance in image classification allows models with fewer parameters, such as convolutional neural networks, to be trained on smaller data sets and achieve state-of-the-art performance. In this paper, we provide a unifying theoretical and methodological framework for incorporating symmetry into machine learning models in three ways: 1. enforcing known symmetry when training a model; 2. discovering unknown symmetries of a given model or data set; and 3. promoting symmetry during training by learning a model that breaks symmetries within a user-specified group of candidates when there is sufficient evidence in the data. We show that these tasks can be cast within a common mathematical framework whose central object is the Lie derivative associated with fiber-linear Lie group actions on vector bundles. We extend and unify several existing results by showing that enforcing and discovering symmetry are linear-algebraic tasks that are dual with respect to the bilinear structure of the Lie derivative. We also propose a novel way to promote symmetry by introducing a class of convex regularization functions based on the Lie derivative and nuclear norm relaxation to penalize symmetry breaking during training of machine learning models. We explain how these ideas can be applied to a wide range of machine learning models including basis function regression, dynamical systems discovery, neural networks, and neural operators acting on fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google