Gradient flows on graphons: existence, convergence, continuity equations

要約

確率測度に関するワッサースタイン勾配フローは、さまざまな最適化問題に多数の応用が見出されています。
それらは通常、勾配型のポテンシャルを伴う何らかの平均場相互作用によって進化する交換可能な粒子系の連続限界として発生します。
ただし、多層ニューラル ネットワークなどの多くの問題では、いわゆるパーティクルは、ノードが交換可能な大きなグラフ上のエッジの重みになります。
このような大きなグラフは、そのサイズが無限に大きくなるにつれて、グラフォンと呼ばれる連続体の限界に収束することが知られています。
エッジ重みの適切な関数のユークリッド勾配流が、勾配流、またはより専門的には最大傾きの曲線として適切に記述できるグラフォン空間上の曲線によって与えられる新しい連続体限界に収束することを示します。
。
準同型関数やスカラー エントロピーなど、グラフォン上のいくつかの自然関数が私たちのセットアップでカバーされており、例は詳細に検討されています。

要約(オリジナル)

Wasserstein gradient flows on probability measures have found a host of applications in various optimization problems. They typically arise as the continuum limit of exchangeable particle systems evolving by some mean-field interaction involving a gradient-type potential. However, in many problems, such as in multi-layer neural networks, the so-called particles are edge weights on large graphs whose nodes are exchangeable. Such large graphs are known to converge to continuum limits called graphons as their size grow to infinity. We show that the Euclidean gradient flow of a suitable function of the edge-weights converges to a novel continuum limit given by a curve on the space of graphons that can be appropriately described as a gradient flow or, more technically, a curve of maximal slope. Several natural functions on graphons, such as homomorphism functions and the scalar entropy, are covered by our set-up, and the examples have been worked out in detail.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google