Lie Group Decompositions for Equivariant Neural Networks

要約

幾何学的変換に対する不変性と等変性は、特に低データ領域で (畳み込み) ニューラル ネットワーク モデルをトレーニングする際に非常に有用な帰納的バイアスであることが証明されています。
多くの研究は、使用される対称群がコンパクトまたはアーベル、あるいはその両方である場合に焦点を当ててきました。
最近の研究では、主にリー代数と群の指数マップおよび対数マップの使用を通じて、リー群の場合に使用される変換クラスの拡大が検討されています。
このような方法の適用可能性は、関心のあるグループ $G$ によっては、指数マップが全射的ではない可能性があるという事実によって制限されます。
$G$ がコンパクトでもアーベルでもない場合、さらに制限が発生します。
リー群とその均質空間の構造と幾何学を使用して、主に群 $G = \text{GL}^{+}(n, \mathbb{
R})$ と $G = \text{SL}(n, \mathbb{R})$、およびそれらのアフィン変換 $\mathbb{R}^{n} \rtimes G$ としての表現。
不変積分とグローバルパラメータ化は、個別に処理できるサブグループと部分多様体への分解によって実現されます。
このフレームワークの下で、コンボリューション カーネルをパラメータ化してアフィン変換に関して等変なモデルを構築する方法を示します。
ベンチマークのアフィン不変分類タスクでモデルの堅牢性と分布外汎化能力を評価し、以前の提案を上回りました。

要約(オリジナル)

Invariance and equivariance to geometrical transformations have proven to be very useful inductive biases when training (convolutional) neural network models, especially in the low-data regime. Much work has focused on the case where the symmetry group employed is compact or abelian, or both. Recent work has explored enlarging the class of transformations used to the case of Lie groups, principally through the use of their Lie algebra, as well as the group exponential and logarithm maps. The applicability of such methods is limited by the fact that depending on the group of interest $G$, the exponential map may not be surjective. Further limitations are encountered when $G$ is neither compact nor abelian. Using the structure and geometry of Lie groups and their homogeneous spaces, we present a framework by which it is possible to work with such groups primarily focusing on the groups $G = \text{GL}^{+}(n, \mathbb{R})$ and $G = \text{SL}(n, \mathbb{R})$, as well as their representation as affine transformations $\mathbb{R}^{n} \rtimes G$. Invariant integration as well as a global parametrization is realized by a decomposition into subgroups and submanifolds which can be handled individually. Under this framework, we show how convolution kernels can be parametrized to build models equivariant with respect to affine transformations. We evaluate the robustness and out-of-distribution generalisation capability of our model on the benchmark affine-invariant classification task, outperforming previous proposals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google