An axiomatized PDE model of deep neural networks

要約

ディープ ニューラル ネットワーク (DNN) と偏微分方程式 (PDE) の関係に触発されて、ディープ ニューラル ネットワークの PDE モデルの一般形式を研究します。
この目標を達成するために、単純な基本モデルからの進化演算子として DNN を定式化します。
いくつかの合理的な仮定に基づいて、展開演算子が実際には対流拡散方程式によって決定されることを証明します。
この対流拡散方程式モデルは、いくつかの効果的なネットワークを数学的に説明します。
さらに、対流拡散モデルによりロバスト性が向上し、Rademacher の複雑さが軽減されることを示します。
対流拡散方程式に基づいて、ResNets の新しいトレーニング方法を設計します。
実験により、提案された方法のパフォーマンスが検証されます。

要約(オリジナル)

Inspired by the relation between deep neural network (DNN) and partial differential equations (PDEs), we study the general form of the PDE models of deep neural networks. To achieve this goal, we formulate DNN as an evolution operator from a simple base model. Based on several reasonable assumptions, we prove that the evolution operator is actually determined by convection-diffusion equation. This convection-diffusion equation model gives mathematical explanation for several effective networks. Moreover, we show that the convection-diffusion model improves the robustness and reduces the Rademacher complexity. Based on the convection-diffusion equation, we design a new training method for ResNets. Experiments validate the performance of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google