Learning Polynomial Problems with $SL(2,\mathbb{R})$ Equivariance

要約

多項式の正値性の最適化と証明は、力学系からオペレーションズ・リサーチまで、数学と工学の応用にわたる基本的なプリミティブである。しかし、これらの問題を実際に解くには、次元や次数のスケーリングに乏しい大規模な半正定値プログラムが必要である。本研究では、ニューラルネットワークがデータ駆動型でこのような問題を効果的に解くことができることを初めて実証し、高い精度を保ちながら10倍のスピードアップを達成した。さらに、これらの多項式学習問題は、面積保存線形変換からなる非コンパクト群$SL(2,˶mathbb{R})$に対して等変量であることを観測した。そこで、我々は、データの増強、新しい$SL(2,˶mathbb{R})$-equivariantアーキテクチャ、最大コンパクト部分群$SO(2,˶mathbb{R})$に関してequivariantアーキテクチャを含む、この構造に対応する学習パイプラインを適応する。これは、特に$SL(2,Γmathbb{R})$に対するアーキテクチャの普遍性の異常な欠如から生じていることを証明する。この結果の帰結として、元の関数を近似する任意の不変量を掛けた等変多項式列が存在しない等変関数が存在することが挙げられます。これは、データ補強が完全な等変量アーキテクチャを凌駕する対称問題の珍しい例であり、非コンパクトな対称性を持つ他の問題に対しても、理論と実践の両面から興味深い教訓を与える。

要約(オリジナル)

Optimizing and certifying the positivity of polynomials are fundamental primitives across mathematics and engineering applications, from dynamical systems to operations research. However, solving these problems in practice requires large semidefinite programs, with poor scaling in dimension and degree. In this work, we demonstrate for the first time that neural networks can effectively solve such problems in a data-driven fashion, achieving tenfold speedups while retaining high accuracy. Moreover, we observe that these polynomial learning problems are equivariant to the non-compact group $SL(2,\mathbb{R})$, which consists of area-preserving linear transformations. We therefore adapt our learning pipelines to accommodate this structure, including data augmentation, a new $SL(2,\mathbb{R})$-equivariant architecture, and an architecture equivariant with respect to its maximal compact subgroup, $SO(2, \mathbb{R})$. Surprisingly, the most successful approaches in practice do not enforce equivariance to the entire group, which we prove arises from an unusual lack of architecture universality for $SL(2,\mathbb{R})$ in particular. A consequence of this result, which is of independent interest, is that there exists an equivariant function for which there is no sequence of equivariant polynomials multiplied by arbitrary invariants that approximates the original function. This is a rare example of a symmetric problem where data augmentation outperforms a fully equivariant architecture, and provides interesting lessons in both theory and practice for other problems with non-compact symmetries.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL