A Lipschitz spaces view of infinitely wide shallow neural networks

要約

活性化関数の規則性と成長を考慮した無制限のパラメータ空間と双対性ペアリングの符号付き測度を使用して、浅いニューラル ネットワークの平均場パラメータ化を再検討します。
この設定は、リプシッツ関数との双対性によって定義されるアンバランスなカントロヴィッチ・ルービンシュタイン規範の使用、および制御された成長を伴う連続関数の尺度空間と双対的な尺度空間の使用に直接つながります。
これらにより、変分定式化の最小化関数の存在を取得するための総変動とモーメント限界、またはペナルティの必要性を透明にすることができます。その下で、コンパクトさが強いカントロビッチ・ルービンシュタインノルムをもたらすことを証明し、それが存在しない場合には望ましくないことを示すいくつかの例を示します。
行動。
さらに、Kantorovich-Rubinstein 設定により、完全な線形パラメータ化とその後の再現カーネル Banach 空間フレームワークの利点を、最適なトランスポートの洞察と組み合わせることができます。
この相乗効果を代表定理と経験的リスク最小化のための均一な大規模データ制限と、蒸留および融合アプリケーションの提案された定式化で紹介します。

要約(オリジナル)

We revisit the mean field parametrization of shallow neural networks, using signed measures on unbounded parameter spaces and duality pairings that take into account the regularity and growth of activation functions. This setting directly leads to the use of unbalanced Kantorovich-Rubinstein norms defined by duality with Lipschitz functions, and of spaces of measures dual to those of continuous functions with controlled growth. These allow to make transparent the need for total variation and moment bounds or penalization to obtain existence of minimizers of variational formulations, under which we prove a compactness result in strong Kantorovich-Rubinstein norm, and in the absence of which we show several examples demonstrating undesirable behavior. Further, the Kantorovich-Rubinstein setting enables us to combine the advantages of a completely linear parametrization and ensuing reproducing kernel Banach space framework with optimal transport insights. We showcase this synergy with representer theorems and uniform large data limits for empirical risk minimization, and in proposed formulations for distillation and fusion applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google