Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions

要約

リプシッツ制約付きニューラル ネットワークには、制約のないニューラル ネットワークに比べていくつかの利点があり、さまざまな問題に適用できるため、深層学習コミュニティで注目を集めています。
残念ながら、ReLU アクティベーション機能を装備すると、パフォーマンスが低下することが理論的にも経験的にも示されています。
対照的に、学習可能な 1-リプシッツ線形スプラインを備えたニューラル ネットワークは、より表現力豊かであることが知られています。
この論文では、このようなネットワークが、1-リプシッツ線形層と 2 次の全変分正則化による 1-リプシッツ自由形式活性化関数で構成されるニューラル ネットワークのトレーニングで構成される制約付き関数最適化問題の大域最適に対応することを示します。
。
さらに、これらのニューラル ネットワークをトレーニングする効率的な方法を提案します。
私たちの数値実験は、私たちの訓練されたネットワークが既存の 1-リプシッツ ニューラル アーキテクチャと同等であることを示しています。

要約(オリジナル)

Lipschitz-constrained neural networks have several advantages over unconstrained ones and can be applied to a variety of problems, making them a topic of attention in the deep learning community. Unfortunately, it has been shown both theoretically and empirically that they perform poorly when equipped with ReLU activation functions. By contrast, neural networks with learnable 1-Lipschitz linear splines are known to be more expressive. In this paper, we show that such networks correspond to global optima of a constrained functional optimization problem that consists of the training of a neural network composed of 1-Lipschitz linear layers and 1-Lipschitz freeform activation functions with second-order total-variation regularization. Further, we propose an efficient method to train these neural networks. Our numerical experiments show that our trained networks compare favorably with existing 1-Lipschitz neural architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google