Subhomogeneous Deep Equilibrium Models

要約

暗黙的深度ニューラル ネットワークは、近年、さまざまなアプリケーションにおいて従来のネットワークに代わる強力な代替手段として成長しています。
ただし、これらのモデルには存在や一意性の保証がないことが多く、安定性、パフォーマンス、再現性の問題が生じます。
この論文では、準同次演算子の概念と非線形ペロン-フロベニウス理論に基づいた、陰的深さニューラル ネットワークの固定点の存在と一意性の新しい分析を示します。
以前の同様の分析と比較して、私たちの理論ではパラメーター行列に対する弱い仮定が可能であるため、明確に定義された陰的ネットワークのためのより柔軟なフレームワークが得られます。
フィードフォワード ニューラル ネットワーク、畳み込みニューラル ネットワーク、およびグラフ ニューラル ネットワークの例で、結果として得られる準均質ネットワークのパフォーマンスを示します。

要約(オリジナル)

Implicit-depth neural networks have grown as powerful alternatives to traditional networks in various applications in recent years. However, these models often lack guarantees of existence and uniqueness, raising stability, performance, and reproducibility issues. In this paper, we present a new analysis of the existence and uniqueness of fixed points for implicit-depth neural networks based on the concept of subhomogeneous operators and the nonlinear Perron-Frobenius theory. Compared to previous similar analyses, our theory allows for weaker assumptions on the parameter matrices, thus yielding a more flexible framework for well-defined implicit networks. We illustrate the performance of the resulting subhomogeneous networks on feedforward, convolutional, and graph neural network examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google