ReLU Neural Networks of Polynomial Size for Exact Maximum Flow Computation

要約

この論文では、整流された線形単位を備えた人工ニューラル ネットワークの表現力を研究します。
それらを実数値計算のモデルとして研究するために、Max-Affine 算術プログラムの概念を導入し、自然な複雑さの尺度に関してそれらとニューラル ネットワークとの等価性を示します。
次に、この結果を使用して、2 つの基本的な組み合わせ最適化問題が多項式サイズのニューラル ネットワークで解決できることを示します。
まず、$n$ ノードを持つ無向グラフに対して、エッジの重みを入力として受け取り、計算するサイズ $\mathcal{O}(n^3)$ のニューラル ネットワーク (固定重みとバイアスを持つ) が存在することを示します。
グラフの最小スパニングツリーの値。
次に、$n$ ノードと $m$ アークを持つ有向グラフの場合、アーク容量を入力として受け取り、計算するサイズ $\mathcal{O}(m^2n^2)$ のニューラル ネットワークが存在することを示します。
最大流量。
私たちの結果は、これら 2 つの問題が、アフィン変換と最大値計算のみを使用し、比較ベースの分岐を使用しない強力な多項式時間アルゴリズムで解決できることを意味します。

要約(オリジナル)

This paper studies the expressive power of artificial neural networks with rectified linear units. In order to study them as a model of real-valued computation, we introduce the concept of Max-Affine Arithmetic Programs and show equivalence between them and neural networks concerning natural complexity measures. We then use this result to show that two fundamental combinatorial optimization problems can be solved with polynomial-size neural networks. First, we show that for any undirected graph with $n$ nodes, there is a neural network (with fixed weights and biases) of size $\mathcal{O}(n^3)$ that takes the edge weights as input and computes the value of a minimum spanning tree of the graph. Second, we show that for any directed graph with $n$ nodes and $m$ arcs, there is a neural network of size $\mathcal{O}(m^2n^2)$ that takes the arc capacities as input and computes a maximum flow. Our results imply that these two problems can be solved with strongly polynomial time algorithms that solely use affine transformations and maxima computations, but no comparison-based branchings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google