Symmetry Breaking and Equivariant Neural Networks

要約

深層学習における帰納的バイアスとして対称性を使用することは、サンプル効率の高いモデル設計のための原則的なアプローチであることが証明されています。
ただし、ニューラル ネットワークにおける対称性と等分散性の命令との関係は、必ずしも明らかではありません。
ここでは、等変関数で生じる重要な制限、つまり個々のデータ サンプルのレベルで対称性を破ることができないことを分析します。
これに応えて、この制限を回避する「緩和等分散」という新しい概念を導入します。
さらに、この緩和を等変多層パーセプトロン (E-MLP) に組み込む方法を示し、ノイズ注入法の代替手段を提供します。
次に、対称性の破れの関連性が、物理学、グラフ表現学習、組み合わせ最適化、等変復号などのさまざまな応用分野で議論されます。

要約(オリジナル)

Using symmetry as an inductive bias in deep learning has been proven to be a principled approach for sample-efficient model design. However, the relationship between symmetry and the imperative for equivariance in neural networks is not always obvious. Here, we analyze a key limitation that arises in equivariant functions: their incapacity to break symmetry at the level of individual data samples. In response, we introduce a novel notion of ‘relaxed equivariance’ that circumvents this limitation. We further demonstrate how to incorporate this relaxation into equivariant multilayer perceptrons (E-MLPs), offering an alternative to the noise-injection method. The relevance of symmetry breaking is then discussed in various application domains: physics, graph representation learning, combinatorial optimization and equivariant decoding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google