Stochastic Neural Network Symmetrisation in Markov Categories

要約

群準同型性に沿ってニューラル ネットワークを対称化する問題を考えます。準同型性 $\varphi : H \to G$ が与えられた場合、$H$ に等変なニューラル ネットワークを $G$ に等変なニューラル ネットワークに変換する手順が必要です。
これをマルコフ カテゴリの観点から定式化すると、出力が確率的である可能性があるが、測度理論の詳細が抽象化されたニューラル ネットワークを考慮できるようになります。
グループの構造と基礎となるニューラル ネットワーク アーキテクチャに関する最小限の仮定に依存する、対称化のための柔軟で構成的なフレームワークが得られます。
私たちのアプローチは、決定論的モデルを対称化するための既存の正規化および平均化技術を回復し、確率的モデルも対称化するための新しい方法論を提供するように拡張します。
これに加えて、私たちの調査結果は、概念的に明確でありながら数学的に正確な方法で機械学習の複雑な問題に対処するためのマルコフカテゴリーの有用性も示しています。

要約(オリジナル)

We consider the problem of symmetrising a neural network along a group homomorphism: given a homomorphism $\varphi : H \to G$, we would like a procedure that converts $H$-equivariant neural networks to $G$-equivariant ones. We formulate this in terms of Markov categories, which allows us to consider neural networks whose outputs may be stochastic, but with measure-theoretic details abstracted away. We obtain a flexible and compositional framework for symmetrisation that relies on minimal assumptions about the structure of the group and the underlying neural network architecture. Our approach recovers existing canonicalisation and averaging techniques for symmetrising deterministic models, and extends to provide a novel methodology for symmetrising stochastic models also. Beyond this, our findings also demonstrate the utility of Markov categories for addressing complex problems in machine learning in a conceptually clear yet mathematically precise way.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google