A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs

要約

操作可能な畳み込みニューラル ネットワーク (SCNN) は、重みの等分散制約を通じて幾何学的対称性をモデル化することで、タスクのパフォーマンスを向上させます。
しかし、未知の対称性や変動する対称性は、重みが過度に制約され、パフォーマンスが低下する可能性があります。
これに対処するために、この論文では、SCNN の等分散度を学習するための確率的方法を紹介します。
フーリエ係数を使用して変換グループ全体にわたる尤度分布として等分散度をパラメータ化し、層ごとの共有等分散をモデル化するオプションを提供します。
これらの尤度分布は、ネットワーク全体で解釈可能な程度の等分散性を確保するために正規化されています。
利点には、SCNN の柔軟なフレームワークを通じて多くのタイプの等変ネットワークに適用できること、および追加のレイヤーを必要とせずに任意のコンパクトなグループの任意のサブグループに関する等変性を学習できることが含まれます。
私たちの実験では、基礎となる等分散度を表す学習された尤度分布を使用して、混合対称性を持つデータセットで競争力のあるパフォーマンスを明らかにしました。

要約(オリジナル)

Steerable convolutional neural networks (SCNNs) enhance task performance by modelling geometric symmetries through equivariance constraints on weights. Yet, unknown or varying symmetries can lead to overconstrained weights and decreased performance. To address this, this paper introduces a probabilistic method to learn the degree of equivariance in SCNNs. We parameterise the degree of equivariance as a likelihood distribution over the transformation group using Fourier coefficients, offering the option to model layer-wise and shared equivariance. These likelihood distributions are regularised to ensure an interpretable degree of equivariance across the network. Advantages include the applicability to many types of equivariant networks through the flexible framework of SCNNs and the ability to learn equivariance with respect to any subgroup of any compact group without requiring additional layers. Our experiments reveal competitive performance on datasets with mixed symmetries, with learnt likelihood distributions that are representative of the underlying degree of equivariance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google