Expressive Monotonic Neural Networks

要約

ニューラル ネットワークの出力がその入力の一部に単調に依存することは、ドメイン知識がそのような動作を決定する多くのシナリオにおいて、重要な帰納的バイアスとなります。
これは、解釈可能性と公平性を考慮する上で特に重要です。
より広い文脈では、単調性が重要であるシナリオは、金融、医学、物理学、およびその他の分野で見られます。
したがって、この誘導バイアスを証明可能に実装するニューラル ネットワーク アーキテクチャを構築することが望ましいです。
この研究では、入力の任意のサブセットで正確な単調依存性を実現するために、単一の残差接続を備えた重み制約アーキテクチャを提案します。
重み制約スキームはニューラル ネットワークのリプシッツ定数を直接制御するため、堅牢性という追加の利点が得られます。
単調性のために使用されている現在既存の手法と比較して、私たちの方法は実装と理論基盤がより単純で、計算オーバーヘッドが無視でき、単調依存性の生成が保証されており、表現力が非常に優れています。
このアルゴリズムを使用して、社会的応用から宇宙で生成される素粒子の崩壊の分類に至るまで、さまざまなベンチマークにわたって現在の最先端の方法と比較して競争力のあるパフォーマンスを達成する、強力で堅牢かつ解釈可能な識別器をトレーニングする方法を示します。
CERN 大型ハドロン衝突型加速器。

要約(オリジナル)

The monotonic dependence of the outputs of a neural network on some of its inputs is a crucial inductive bias in many scenarios where domain knowledge dictates such behavior. This is especially important for interpretability and fairness considerations. In a broader context, scenarios in which monotonicity is important can be found in finance, medicine, physics, and other disciplines. It is thus desirable to build neural network architectures that implement this inductive bias provably. In this work, we propose a weight-constrained architecture with a single residual connection to achieve exact monotonic dependence in any subset of the inputs. The weight constraint scheme directly controls the Lipschitz constant of the neural network and thus provides the additional benefit of robustness. Compared to currently existing techniques used for monotonicity, our method is simpler in implementation and in theory foundations, has negligible computational overhead, is guaranteed to produce monotonic dependence, and is highly expressive. We show how the algorithm is used to train powerful, robust, and interpretable discriminators that achieve competitive performance compared to current state-of-the-art methods across various benchmarks, from social applications to the classification of the decays of subatomic particles produced at the CERN Large Hadron Collider.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google