1-Lipschitz Neural Networks are more expressive with N-Activations

要約

安全で信頼でき、解釈可能なディープラーニングシステムを実現するために重要な特性は、そのロバスト性である。システムの入力に対する小さな変化が、その出力に大きな変化をもたらすことがあってはならない。数学的には、これは小さなリプシッツ定数を持つネットワークを目指すことを意味する。最近のいくつかの研究では、このようなリプシッツ・ネットワークを構築する方法に焦点が当てられている。本研究では、活性化関数の役割という直交する側面について研究する。我々は、MaxMinのような一般的な活性化関数や、2つのセグメントを持つすべての区分線形関数が、最も単純な1次元の設定においてさえ、表現可能な関数のクラスを不必要に制限していることを示す。さらに、現在一般的な活性化関数よりも表現力が高いことを証明する、新しいN-活性化関数を紹介する。コードはhttps://github.com/berndprach/NActivation。

要約(オリジナル)

A crucial property for achieving secure, trustworthy and interpretable deep learning systems is their robustness: small changes to a system’s inputs should not result in large changes to its outputs. Mathematically, this means one strives for networks with a small Lipschitz constant. Several recent works have focused on how to construct such Lipschitz networks, typically by imposing constraints on the weight matrices. In this work, we study an orthogonal aspect, namely the role of the activation function. We show that commonly used activation functions, such as MaxMin, as well as all piece-wise linear ones with two segments unnecessarily restrict the class of representable functions, even in the simplest one-dimensional setting. We furthermore introduce the new N-activation function that is provably more expressive than currently popular activation functions. We provide code at https://github.com/berndprach/NActivation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL