A Framework of SO(3)-equivariant Non-linear Representation Learning and its Application to Electronic-Structure Hamiltonian Prediction

要約

我々は、深層学習を物理システムに適用する際の重要な課題、つまり、
電子構造ハミルトニアン。
物理学の共変理論に触発され、SO(3) 不変量と SO(3) 等変量とその表現の間の数学的関係を調査することで、この問題に対処します。
まず、SO(3) 等変回帰ターゲットから導出される理論的な SO(3) 不変量を構築し、これらの不変量を監視ラベルとして使用して、高品質の SO(3) 不変特徴の学習をガイドします。
SO(3) 不変性が非線形操作下で維持されることを考えると、不変特徴のエンコード プロセスでは非線形マッピングを広範囲に利用でき、それによって物理システムに固有の非線形パターンを完全に捉えることができます。
この基礎に基づいて、学習された SO(3) 不変特徴からさまざまな次数の SO(3) 等変エンコーディングを誘導する勾配ベースのメカニズムを提案します。
このメカニズムは、我々が証明するように理論​​的には等変特性を維持しながら、非線形表現機能を SO(3) 等変表現に組み込むことができます。
私たちのアプローチは、深層学習方法論における等分散性と非線形表現力の間の重大なジレンマに対する有望な一般的な解決策を提供します。
私たちは理論と手法を電子構造ハミルトニアン予測タスクに適用し、6 つのベンチマーク データベースにわたって最先端のパフォーマンスを実証します。

要約(オリジナル)

We present both a theoretical and a methodological framework that addresses a critical challenge in applying deep learning to physical systems: the reconciliation of non-linear expressiveness with SO(3)-equivariance in predictions of SO(3)-equivariant quantities, such as the electronic-structure Hamiltonian. Inspired by covariant theory in physics, we address this problem by exploring the mathematical relationships between SO(3)-invariant and SO(3)-equivariant quantities and their representations. We first construct theoretical SO(3)-invariant quantities derived from the SO(3)-equivariant regression targets, and use these invariant quantities as supervisory labels to guide the learning of high-quality SO(3)-invariant features. Given that SO(3)-invariance is preserved under non-linear operations, the encoding process for invariant features can extensively utilize non-linear mappings, thereby fully capturing the non-linear patterns inherent in physical systems. Building on this foundation, we propose a gradient-based mechanism to induce SO(3)-equivariant encodings of various degrees from the learned SO(3)-invariant features. This mechanism can incorporate non-linear expressive capabilities into SO(3)-equivariant representations, while theoretically preserving their equivariant properties as we prove. Our approach offers a promising general solution to the critical dilemma between equivariance and non-linear expressiveness in deep learning methodologies. We apply our theory and method to the electronic-structure Hamiltonian prediction tasks, demonstrating state-of-the-art performance across six benchmark databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google