A rank decomposition for the topological classification of neural representations

要約

ニューラル ネットワークは、入力データセットに変換を適用すると考えることができます。
このようなデータセットのトポロジを変更する方法は、多くのタスク、特に分類問題などの最適解に対する非同型マッピングを要求するタスクにとって、実用的な重要性を持つことがよくあります。
この研究では、ニューラル ネットワークが連続区分的アフィン マップと同等であるという事実を活用し、そのランクを使用して、非同型変換を受ける入力空間内の領域を特定し、入力データセットの位相構造の変更につながります。
。
私たちのアプローチでは、相対相同性配列を利用することができます。これにより、これらの空間に関する最小限の特性を仮定して、多様体 $\mathcal{M}$ と部分集合 $A$ の商の相同性群を研究できます。
原理の証明として、ネットワーク幅と平均重みの関数として、低ランク (トポロジーを変更する) アフィン マップの存在を経験的に調査します。
ランダムに初期化された狭いネットワークでは、データ多様体の（共）相同性グループが変化する可能性がある領域が存在することを示します。
幅が増加するにつれて、入力多様体の相同性グループが保存される可能性が高くなります。
私たちは、この性質を持たない高度に非ランダムなワイドネットワークを構築し、この非ランダム体制を生物学的ニューラルネットワークの特徴であるデールの原理に関連付けることで、この部分の研究を終了します。
最後に、おもちゃの分類および回帰タスクだけでなく、MNIST で訓練された単純なフィードフォワード ネットワークを研究し、ネットワークが訓練されたタスクの連続性に応じてデータのトポロジーを異なる方法で操作することを示します。

要約(オリジナル)

Neural networks can be thought of as applying a transformation to an input dataset. The way in which they change the topology of such a dataset often holds practical significance for many tasks, particularly those demanding non-homeomorphic mappings for optimal solutions, such as classification problems. In this work, we leverage the fact that neural networks are equivalent to continuous piecewise-affine maps, whose rank can be used to pinpoint regions in the input space that undergo non-homeomorphic transformations, leading to alterations in the topological structure of the input dataset. Our approach enables us to make use of the relative homology sequence, with which one can study the homology groups of the quotient of a manifold $\mathcal{M}$ and a subset $A$, assuming some minimal properties on these spaces. As a proof of principle, we empirically investigate the presence of low-rank (topology-changing) affine maps as a function of network width and mean weight. We show that in randomly initialized narrow networks, there will be regions in which the (co)homology groups of a data manifold can change. As the width increases, the homology groups of the input manifold become more likely to be preserved. We end this part of our work by constructing highly non-random wide networks that do not have this property and relating this non-random regime to Dale’s principle, which is a defining characteristic of biological neural networks. Finally, we study simple feedforward networks trained on MNIST, as well as on toy classification and regression tasks, and show that networks manipulate the topology of data differently depending on the continuity of the task they are trained on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google