Almost Equivariance via Lie Algebra Convolutions

要約

近年、集団行動に関するモデルの等変量性は、機械学習における重要な研究テーマとなっている。既存のニューラルネットワークアーキテクチャに組み込まれた等分散性の分析や、等分散性を明示的に「埋め込む」モデルの構築研究は、それ自体が重要な研究分野となっている。しかし、アーキテクチャに特定のグループの等変数を組み込むことは、モデルが期待するデータ変換のタイプに強い事前分布を課すことになる。厳密な等変量モデルは対称性を強制しますが、現実のデータは必ずしもそのような厳密な等変量に適合するとは限りません。このような場合、厳密な等変量の事前分布は、実際には強すぎることが証明され、モデルの性能を低下させる原因となる。そこで、本研究では、密接に関連するトピックであるほぼ等分散について研究する。ほぼ等分散の定義を提供し、リー群のリー代数に訴えることによって、モデルにおいてほぼ等分散を符号化する実用的な方法を与える。具体的には、リー代数畳み込みを定義し、非写実的指数写像を持つ非コンパクトリー群に対してよく定義されるなど、リー群畳み込みよりもいくつかの利点があることを示す。そこから、等変量と等量性の概念と、ほぼ等変量とほぼ等量性の概念とのつながりを示す。1つは、多様体の等積分の有界距離内にほぼ等積分が存在することを示す定理であり、もう1つは、ヒルベルト空間についてその逆を示す定理である。これらの定理を拡張して、群作用と関数クラスに関するある制約のもとで、完全等変埋め込み関数の有界距離内にほぼ等変多様体埋め込みが存在することを証明する。最後に、完全等変量およびほぼ等変量のデータセットに対するベンチマークを行うことにより、我々のアプローチの有効性を示す。

要約(オリジナル)

Recently, the equivariance of models with respect to a group action has become an important topic of research in machine learning. Analysis of the built-in equivariance of existing neural network architectures, as well as the study of building models that explicitly ‘bake in’ equivariance, have become significant research areas in their own right. However, imbuing an architecture with a specific group equivariance imposes a strong prior on the types of data transformations that the model expects to see. While strictly-equivariant models enforce symmetries, real-world data does not always conform to such strict equivariances. In such cases, the prior of strict equivariance can actually prove too strong and cause models to underperform. Therefore, in this work we study a closely related topic, that of almost equivariance. We provide a definition of almost equivariance and give a practical method for encoding almost equivariance in models by appealing to the Lie algebra of a Lie group. Specifically, we define Lie algebra convolutions and demonstrate that they offer several benefits over Lie group convolutions, including being well-defined for non-compact Lie groups having non-surjective exponential map. From there, we demonstrate connections between the notions of equivariance and isometry and those of almost equivariance and almost isometry. We prove two existence theorems, one showing the existence of almost isometries within bounded distance of isometries of a manifold, and another showing the converse for Hilbert spaces. We extend these theorems to prove the existence of almost equivariant manifold embeddings within bounded distance of fully equivariant embedding functions, subject to certain constraints on the group action and the function class. Finally, we demonstrate the validity of our approach by benchmarking against datasets in fully equivariant and almost equivariant settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL