Fixed points of nonnegative neural networks

要約

固定点理論を使用して非負ニューラル ネットワークを分析します。非負ニューラル ネットワークは、非負ベクトルを非負ベクトルにマッピングするニューラル ネットワークとして定義されます。
まず、非負の重みとバイアスを持つ非負のニューラル ネットワークが、非線形ペロン フロベニウス理論の枠組み内で単調で (弱く) スケーラブルなマッピングとして認識できることを示します。
この事実により、同じ次元の入力と出力を持つ非負のニューラル ネットワークの不動点の存在条件を提供することができます。これらの条件は、凸解析の引数を使用して最近得られた条件よりも弱いです。
さらに、非負の重みとバイアスを持つ非負のニューラル ネットワークの固定点セットの形状は区間であり、穏やかな条件下では点に縮退することを証明します。
これらの結果は、より一般的な非負のニューラル ネットワークの不動点の存在を取得するために使用されます。
実用的な観点から、私たちの結果はオートエンコーダーの動作の理解に貢献し、深い平衡モデルの将来の開発のための貴重な数学的機械も提供します。

要約(オリジナル)

We use fixed point theory to analyze nonnegative neural networks, which we define as neural networks that map nonnegative vectors to nonnegative vectors. We first show that nonnegative neural networks with nonnegative weights and biases can be recognized as monotonic and (weakly) scalable mappings within the framework of nonlinear Perron-Frobenius theory. This fact enables us to provide conditions for the existence of fixed points of nonnegative neural networks having inputs and outputs of the same dimension, and these conditions are weaker than those recently obtained using arguments in convex analysis. Furthermore, we prove that the shape of the fixed point set of nonnegative neural networks with nonnegative weights and biases is an interval, which under mild conditions degenerates to a point. These results are then used to obtain the existence of fixed points of more general nonnegative neural networks. From a practical perspective, our results contribute to the understanding of the behavior of autoencoders, and we also offer valuable mathematical machinery for future developments in deep equilibrium models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google