Tropical Expressivity of Neural Networks

要約

線形活性化ニューラル ネットワークの表現力を研究するための代数幾何学的枠組みを提案します。
深層学習の分野で積極的に研究されている特定の量は、アーキテクチャの情報容量の推定値を与える線形領域の数です。
情報能力と表現力を研究および評価するために、私たちは熱帯幾何学 (代数幾何学の組み合わせおよび多面体の変形) の設定で作業します。そこでは、熱帯有理地図とフィードフォワード ニューラル ネットワークの間に既知の接続があります。
私たちの研究は、この接続を構築および拡張して、熱帯幾何学の豊富な理論を利用して、ニューラル ネットワークのさまざまなアーキテクチャの側面を特徴付け、研究しています。
私たちの貢献は 3 つあります。線形領域の中からサンプリング ドメインを選択するための新しい熱帯幾何学的アプローチを提供します。
対称性のあるネットワーク アーキテクチャのサンプリング ドメインのガイド付き制限を可能にする代数的結果。
ニューラル ネットワークを熱帯ピュイズー合理的マップとして解析するためのオープン ソース ライブラリ。
私たちは、ネットワークの表現力特性に関する洞察を明らかにするために熱帯幾何学理論を適用できるニューラル ネットワーク アーキテクチャの広範さを実証する、概念実証の数値実験の包括的なセットを提供します。
私たちの研究は、計算熱帯幾何学や記号計算から深層学習に至るまで、理論と既存のソフトウェアの両方を適応させるための基礎を提供します。

要約(オリジナル)

We propose an algebraic geometric framework to study the expressivity of linear activation neural networks. A particular quantity that has been actively studied in the field of deep learning is the number of linear regions, which gives an estimate of the information capacity of the architecture. To study and evaluate information capacity and expressivity, we work in the setting of tropical geometry — a combinatorial and polyhedral variant of algebraic geometry — where there are known connections between tropical rational maps and feedforward neural networks. Our work builds on and expands this connection to capitalize on the rich theory of tropical geometry to characterize and study various architectural aspects of neural networks. Our contributions are threefold: we provide a novel tropical geometric approach to selecting sampling domains among linear regions; an algebraic result allowing for a guided restriction of the sampling domain for network architectures with symmetries; and an open source library to analyze neural networks as tropical Puiseux rational maps. We provide a comprehensive set of proof-of-concept numerical experiments demonstrating the breadth of neural network architectures to which tropical geometric theory can be applied to reveal insights on expressivity characteristics of a network. Our work provides the foundations for the adaptation of both theory and existing software from computational tropical geometry and symbolic computation to deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google