Smooth Monotonic Networks

要約

単調性制約は、統計モデリングにおける強力な正則化子です。
これらは、コンピュータ支援による意思決定の公平性をサポートし、データ駆動型の科学モデルの妥当性を高めることができます。
独創的な Min-Max (MM) ニューラル ネットワーク アーキテクチャは単調性を保証しますが、勾配が消えるため、トレーニング中に望ましくない局所最適値に陥ることがよくあります。
我々は、この問題を軽減する、厳密に増加する滑らかな非線形性を使用した MM ネットワークの簡単な修正を提案します。
結果として得られる Smooth Min-Max (SMM) ネットワーク モジュールは、MM アーキテクチャから漸近近似プロパティを継承します。
エンドツーエンドでトレーニングされた大規模な深層学習システム内で使用できます。
SMM モジュールは、単調モデリング用の最先端のニューラル ネットワークよりもかなり単純で、計算量が少なくなります。
それでも、私たちの実験では、汎化パフォーマンスの点で、代替のニューラルおよび非ニューラル アプローチと比較して有利でした。

要約(オリジナル)

Monotonicity constraints are powerful regularizers in statistical modelling. They can support fairness in computer supported decision making and increase plausibility in data-driven scientific models. The seminal min-max (MM) neural network architecture ensures monotonicity, but often gets stuck in undesired local optima during training because of vanishing gradients. We propose a simple modification of the MM network using strictly-increasing smooth non-linearities that alleviates this problem. The resulting smooth min-max (SMM) network module inherits the asymptotic approximation properties from the MM architecture. It can be used within larger deep learning systems trained end-to-end. The SMM module is considerably simpler and less computationally demanding than state-of-the-art neural networks for monotonic modelling. Still, in our experiments, it compared favorably to alternative neural and non-neural approaches in terms of generalization performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google