From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford’s Geometric Algebra and Convexity

要約

この論文では、幾何 (クリフォード) 代数と凸最適化に基づいたニューラル ネットワークの新しい解析を紹介します。
ディープ ReLU ニューラル ネットワークの最適な重みは、標準的な正規化損失でトレーニングした場合のトレーニング サンプルのウェッジ積によって与えられることを示します。
さらに、トレーニング問題は、トレーニング データセットの幾何学的構造をエンコードするウェッジ積特徴に対する凸最適化に帰着します。
この構造は、データ ベクトルによって生成された三角形と平行面の符号付き体積によって与えられます。
凸問題では、$\ell_1$ 正則化を介してサンプルの小さなサブセットを見つけて、関連するウェッジ製品の特徴のみを検出します。
私たちの分析は、ディープ ニューラル ネットワークの内部動作に関する新しい視点を提供し、隠れ層の役割を明らかにします。

要約(オリジナル)

In this paper, we introduce a novel analysis of neural networks based on geometric (Clifford) algebra and convex optimization. We show that optimal weights of deep ReLU neural networks are given by the wedge product of training samples when trained with standard regularized loss. Furthermore, the training problem reduces to convex optimization over wedge product features, which encode the geometric structure of the training dataset. This structure is given in terms of signed volumes of triangles and parallelotopes generated by data vectors. The convex problem finds a small subset of samples via $\ell_1$ regularization to discover only relevant wedge product features. Our analysis provides a novel perspective on the inner workings of deep neural networks and sheds light on the role of the hidden layers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google