Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance

要約

本論文では、群対称性を持つ関数の学習において、等変量アーキテクチャの限界を克服する新しいフレームワークを提示する。等変量アーキテクチャとは逆に、任意のベースモデル（MLPや変換器など）を用い、対称化の基礎となる確率分布をパラメータ化する小さな等変量ネットワークを用いることで、与えられたグループに対して等変量となるように対称化する。この分布は、対称化のサンプルの複雑さを軽減しながら性能を最大化することができるベースモデルでエンドツーエンドに学習されます。このアプローチにより、与えられたグループに対する等価性だけでなく、期待値における普遍的な近似能力も保証されることが示される。我々は、訓練済みの視覚変換器から初期化できる単純なパッチベースの変換器に我々の方法を実装し、順列群、ユークリッド群、およびそれらの組み合わせを含む広範囲の対称群に対してテストする。実証実験では、調整された等変量アーキテクチャに対して競争力のある結果を示し、非等変量ユニバーサルベースアーキテクチャを用いて多様なグループに対する等変量関数を学習できる可能性を示唆した。さらに、グラフのような対称的なモダリティにおいて、視覚のような非対称的なモダリティから事前学習した場合に、学習が促進される証拠を示す。我々の実装は、https://github.com/jw9730/lps でオープンソース化される予定です。

要約(オリジナル)

We present a novel framework to overcome the limitations of equivariant architectures in learning functions with group symmetries. In contrary to equivariant architectures, we use an arbitrary base model (such as an MLP or a transformer) and symmetrize it to be equivariant to the given group by employing a small equivariant network that parameterizes the probabilistic distribution underlying the symmetrization. The distribution is end-to-end trained with the base model which can maximize performance while reducing sample complexity of symmetrization. We show that this approach ensures not only equivariance to given group but also universal approximation capability in expectation. We implement our method on a simple patch-based transformer that can be initialized from pretrained vision transformers, and test it for a wide range of symmetry groups including permutation and Euclidean groups and their combinations. Empirical tests show competitive results against tailored equivariant architectures, suggesting the potential for learning equivariant functions for diverse groups using a non-equivariant universal base architecture. We further show evidence of enhanced learning in symmetric modalities, like graphs, when pretrained from non-symmetric modalities, like vision. Our implementation will be open-sourced at https://github.com/jw9730/lps.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL