Fixed points of nonnegative neural networks

要約

固定点理論を使用して非負ニューラル ネットワークを分析します。非負ニューラル ネットワークは、非負ベクトルを非負ベクトルにマッピングするニューラル ネットワークとして定義されます。
まず、非負の重みとバイアスを持つ非負のニューラル ネットワークが、非線形ペロン フロベニウス理論の枠組み内で単調で (弱く) スケーラブルな関数として認識できることを示します。
この事実により、同じ次元の入力と出力を持つ非負のニューラル ネットワークの不動点の存在条件を提供することができます。これらの条件は、凸解析の引数を使用して最近得られた条件よりも弱いです。
さらに、非負の重みとバイアスを持つ非負のニューラル ネットワークの固定点セットの形状は区間であり、穏やかな条件下では点に縮退することを証明します。
これらの結果は、より一般的な非負のニューラル ネットワークの不動点の存在を取得するために使用されます。
実用的な観点から、私たちの結果はオートエンコーダの動作の理解に貢献し、主な理論的結果は、修正された国立標準技術研究所 (MNIST) データセットを使用した数値シミュレーションで検証されます。

要約(オリジナル)

We use fixed point theory to analyze nonnegative neural networks, which we define as neural networks that map nonnegative vectors to nonnegative vectors. We first show that nonnegative neural networks with nonnegative weights and biases can be recognized as monotonic and (weakly) scalable functions within the framework of nonlinear Perron-Frobenius theory. This fact enables us to provide conditions for the existence of fixed points of nonnegative neural networks having inputs and outputs of the same dimension, and these conditions are weaker than those recently obtained using arguments in convex analysis. Furthermore, we prove that the shape of the fixed point set of nonnegative neural networks with nonnegative weights and biases is an interval, which under mild conditions degenerates to a point. These results are then used to obtain the existence of fixed points of more general nonnegative neural networks. From a practical perspective, our results contribute to the understanding of the behavior of autoencoders, and the main theoretical results are verified in numerical simulations using the Modified National Institute of Standards and Technology (MNIST) dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google