Lie Algebra Canonicalization: Equivariant Neural Operators under arbitrary Lie Groups

要約

ロバストで汎化可能な機械学習モデルの探求は、等変量ニューラルネットワークを通して対称性を利用することへの最近の関心を駆り立てている。PDEソルバーの文脈では、最近の研究により、リー点対称性が、データと損失の増大を通じて、物理情報ニューラルネットワーク（PINN）の有用な帰納的バイアスになり得ることが示されている。にもかかわらず、このような問題に対してモデル・アーキテクチャの中で直接的に等変数を強制することは依然として困難である。これは、多くのPDEが非コンパクトな対称群を持つためであり、しばしば、その無限小世代を越えて研究されていないため、既存のほとんどの等変量アーキテクチャと互換性がない。本研究では、Lie aLgebrA Canonicalization (LieLAC)を提案する。LieLACは、対称群の無限小演算子の作用のみを利用する新しいアプローチであり、完全な群構造の知識を必要としない。これを実現するために、我々は正準化の文献における既存の理論的問題に取り組み、連続的な非コンパクト群の場合のフレーム平均化との関連を確立する。正準化の枠組みの中で動作するLieLACは、制約のない事前訓練されたモデルと容易に統合することができ、既存のモデルに入力する前に入力を正準形式に変換し、許容される対称性に従ってモデル推論のための入力を効果的に整列させる。LieLACは標準的なリー群降下スキームを利用し、事前訓練されたモデルにおける等変数を達成する。最後に、事前に訓練されたモデルを用いた不変画像分類とリー点対称等変量ニューラルPDEソルバーのタスクにおけるLieLACの有効性を示す。

要約(オリジナル)

The quest for robust and generalizable machine learning models has driven recent interest in exploiting symmetries through equivariant neural networks. In the context of PDE solvers, recent works have shown that Lie point symmetries can be a useful inductive bias for Physics-Informed Neural Networks (PINNs) through data and loss augmentation. Despite this, directly enforcing equivariance within the model architecture for these problems remains elusive. This is because many PDEs admit non-compact symmetry groups, oftentimes not studied beyond their infinitesimal generators, making them incompatible with most existing equivariant architectures. In this work, we propose Lie aLgebrA Canonicalization (LieLAC), a novel approach that exploits only the action of infinitesimal generators of the symmetry group, circumventing the need for knowledge of the full group structure. To achieve this, we address existing theoretical issues in the canonicalization literature, establishing connections with frame averaging in the case of continuous non-compact groups. Operating within the framework of canonicalization, LieLAC can easily be integrated with unconstrained pre-trained models, transforming inputs to a canonical form before feeding them into the existing model, effectively aligning the input for model inference according to allowed symmetries. LieLAC utilizes standard Lie group descent schemes, achieving equivariance in pre-trained models. Finally, we showcase LieLAC’s efficacy on tasks of invariant image classification and Lie point symmetry equivariant neural PDE solvers using pre-trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL