Stochastic Neural Network Symmetrisation in Markov Categories

要約

群準同型性に沿ってニューラル ネットワークを対称化する問題を考えます。準同型性 $\varphi : H \to G$ が与えられると、$H$ に等変なニューラル ネットワークを $G$ に等変なニューラル ネットワークに変換する手順が必要になります。
これをマルコフ カテゴリの観点から定式化すると、出力が確率的である可能性があるが、測度理論の詳細が抽象化されたニューラル ネットワークを考慮できるようになります。
グループの構造と基礎となるニューラル ネットワーク アーキテクチャに関する最小限の仮定に依存する、対称化のための柔軟で構成的かつ一般的なフレームワークが得られます。
私たちのアプローチは、特別なケースとして決定論的対称化のための既存の方法を回復し、確率的対称化のための新しい方法論を提供するために直接拡張します。
これに加えて、私たちの調査結果は、概念的かつ数学的に厳密な方法で機械学習の問題に対処するためのマルコフカテゴリーの有用性も示していると考えています。

要約(オリジナル)

We consider the problem of symmetrising a neural network along a group homomorphism: given a homomorphism $\varphi : H \to G$, we would like a procedure that converts $H$-equivariant neural networks into $G$-equivariant ones. We formulate this in terms of Markov categories, which allows us to consider neural networks whose outputs may be stochastic, but with measure-theoretic details abstracted away. We obtain a flexible, compositional, and generic framework for symmetrisation that relies on minimal assumptions about the structure of the group and the underlying neural network architecture. Our approach recovers existing methods for deterministic symmetrisation as special cases, and extends directly to provide a novel methodology for stochastic symmetrisation also. Beyond this, we believe our findings also demonstrate the utility of Markov categories for addressing problems in machine learning in a conceptual yet mathematically rigorous way.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google