Differentiable Neural Networks with RePU Activation: with Applications to Score Estimation and Isotonic Regression

要約

タイトル：RePUアクティベーションを用いた微分可能ニューラルネットワーク：スコア推定および等距回帰への応用

要約：
– RePU関数によって活性化される微分可能ニューラルネットワークの特性を研究する。
– RePUニューラルネットワークの偏微分は、RePUネットワークから構成される混合活性化ネットワークによって表現できることを示し、RePUネットワークの導関数の関数クラスの複雑さの上限を導出する。
– RePU-アクティブな深層ニューラルネットワークを使用して、$C^s$滑らかな関数とその導関数を同時に近似する際の誤差の上限を確立する。
– さらに、データが近似的に低次元のサポートを持つ場合、RePUネットワークが次元の呪いを緩和する能力を示す改良された近似誤差の上限を導出する。
– 結果の有用性を示すために、深いスコアマッチング推定器（DSME）を検討し、RePUネットワークを使用したペナルティつき深層等距回帰（PDIR）を提案する。
– 対象関数が$C^s$滑らかな関数のクラスに属するという仮定の下で、DSMEとPDIRの非漸近的な余剰リスク境界を確立する。
– また、PDIRが単調性の仮定が満たされない場合でも消滅ペナルティパラメータに一致するというロバスト性があることを示す。
– さらに、データ分布が近似的に低次元の多様体に支持されている場合、DSMEとPDIRが次元の呪いを緩和することができることを示す。

要約(オリジナル)

We study the properties of differentiable neural networks activated by rectified power unit (RePU) functions. We show that the partial derivatives of RePU neural networks can be represented by RePUs mixed-activated networks and derive upper bounds for the complexity of the function class of derivatives of RePUs networks. We establish error bounds for simultaneously approximating $C^s$ smooth functions and their derivatives using RePU-activated deep neural networks. Furthermore, we derive improved approximation error bounds when data has an approximate low-dimensional support, demonstrating the ability of RePU networks to mitigate the curse of dimensionality. To illustrate the usefulness of our results, we consider a deep score matching estimator (DSME) and propose a penalized deep isotonic regression (PDIR) using RePU networks. We establish non-asymptotic excess risk bounds for DSME and PDIR under the assumption that the target functions belong to a class of $C^s$ smooth functions. We also show that PDIR has a robustness property in the sense it is consistent with vanishing penalty parameters even when the monotonicity assumption is not satisfied. Furthermore, if the data distribution is supported on an approximate low-dimensional manifold, we show that DSME and PDIR can mitigate the curse of dimensionality.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI