A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs

要約

操縦可能な畳み込みニューラルネットワーク（SCNNS）は、重みの等分散制約を通じて幾何学的対称性をモデル化することにより、タスクのパフォーマンスを向上させます。
しかし、未知または変化する対称性は、重量が過剰に制約され、パフォーマンスの低下につながる可能性があります。
これに対処するために、このペーパーでは、SCNNSの等量の程度を学ぶための確率的方法を紹介します。
フーリエ係数を使用して、変換グループ上の尤度分布として等量の程度をパラメーター化し、レイヤーごとのモデル化された共有等量のオプションを提供します。
これらの尤度分布は、ネットワーク全体で解釈可能な程度の等量を確保するために正規化されます。
利点には、SCNNSの柔軟なフレームワークを通じて、多くのタイプの等量ネットワークへの適用可能性と、追加の層を必要とせずに、コンパクトグループのあらゆるサブグループに関する等寛容を学習する能力が含まれます。
私たちの実験は、根本的な等量の程度を表す学習された尤度分布を備えた、混合対称性のあるデータセットでの競争力のあるパフォーマンスを明らかにしています。

要約(オリジナル)

Steerable convolutional neural networks (SCNNs) enhance task performance by modelling geometric symmetries through equivariance constraints on weights. Yet, unknown or varying symmetries can lead to overconstrained weights and decreased performance. To address this, this paper introduces a probabilistic method to learn the degree of equivariance in SCNNs. We parameterise the degree of equivariance as a likelihood distribution over the transformation group using Fourier coefficients, offering the option to model layer-wise and shared equivariance. These likelihood distributions are regularised to ensure an interpretable degree of equivariance across the network. Advantages include the applicability to many types of equivariant networks through the flexible framework of SCNNs and the ability to learn equivariance with respect to any subgroup of any compact group without requiring additional layers. Our experiments reveal competitive performance on datasets with mixed symmetries, with learnt likelihood distributions that are representative of the underlying degree of equivariance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google