On Functional Dimension and Persistent Pseudodimension

要約

固定フィードフォワード ReLU ニューラル ネットワーク アーキテクチャでは、多くの異なるパラメーター設定によって同じ関数が決定される可能性があることがよく知られています。
この冗長性の程度がパラメータ空間全体で不均一であることはあまり知られていません。
この研究では、ReLU ネットワーク クラスにローカルに適用できる 2 つの複雑さの尺度と、それらの間の関係についてわかっていることについて説明します: (1) ローカル機能次元 [14, 18]、および (2) VC 次元のローカル バージョン
永続的な疑似次元を呼び出します。
前者は、点の有限バッチで計算するのが簡単です。
後者は一般化ギャップに局所的な限界を与えるはずであり、それは二重降下現象の仕組みの理解を知らせるであろう [7]。

要約(オリジナル)

For any fixed feedforward ReLU neural network architecture, it is well-known that many different parameter settings can determine the same function. It is less well-known that the degree of this redundancy is inhomogeneous across parameter space. In this work, we discuss two locally applicable complexity measures for ReLU network classes and what we know about the relationship between them: (1) the local functional dimension [14, 18], and (2) a local version of VC dimension that we call persistent pseudodimension. The former is easy to compute on finite batches of points; the latter should give local bounds on the generalization gap, which would inform an understanding of the mechanics of the double descent phenomenon [7].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google