Low Dimensional Invariant Embeddings for Universal Geometric Learning

要約

この論文は、不変量の分離、つまり適切な群作用に対して不変であり、軌道を分離する $D$ 次元領域上のマッピングを研究します。
この研究の動機は、等変ニューラル ネットワーク アーキテクチャの普遍性を証明する際に不変条件を分離することが有用であることから来ています。
いくつかの場合、機械学習の文献で提案されている分離不変量の基数が次元 $D$ よりもはるかに大きいことが観察されます。
結果として、これらの分離不変条件に基づく理論的な普遍的構築は非現実的に大規模になります。
この文書の目的は、この問題を解決することです。
半代数的な分離不変量の連続族が利用可能な場合、これらの不変量の $2D+1 $ をランダムに選択することによって分離が得られることを示します。
この方法論を適用して、不変量学習文献で研究されているいくつかの古典的なグループ アクションの分離不変量を計算するための効率的なスキームを取得します。
例には、順列、回転、その他のさまざまな線形グループによる点群の行列乗算アクションが含まれます。
多くの場合、不変分離の要件は緩和され、一般的な分離のみが必要になります。
この場合、$D+1$ 不変式のみが必要であることを示します。
さらに重要なことは、重み付きグラフの一般的な分離と完全な分離について説明することで示すように、一般的な不変式の計算が非常に簡単になることがよくあります。
最後に、ランダムパラメータが有限精度である場合にも分離不変式を構築できることを証明するアプローチの概要を説明します。

要約(オリジナル)

This paper studies separating invariants: mappings on $D$ dimensional domains which are invariant to an appropriate group action, and which separate orbits. The motivation for this study comes from the usefulness of separating invariants in proving universality of equivariant neural network architectures. We observe that in several cases the cardinality of separating invariants proposed in the machine learning literature is much larger than the dimension $D$. As a result, the theoretical universal constructions based on these separating invariants is unrealistically large. Our goal in this paper is to resolve this issue. We show that when a continuous family of semi-algebraic separating invariants is available, separation can be obtained by randomly selecting $2D+1 $ of these invariants. We apply this methodology to obtain an efficient scheme for computing separating invariants for several classical group actions which have been studied in the invariant learning literature. Examples include matrix multiplication actions on point clouds by permutations, rotations, and various other linear groups. Often the requirement of invariant separation is relaxed and only generic separation is required. In this case, we show that only $D+1$ invariants are required. More importantly, generic invariants are often significantly easier to compute, as we illustrate by discussing generic and full separation for weighted graphs. Finally we outline an approach for proving that separating invariants can be constructed also when the random parameters have finite precision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google