Expressing linear equality constraints in feedforward neural networks

要約

我々は、フィードフォワードニューラルネットワークに線形等式制約を課そうとする。最上層の予測変数は通常非線形であるため、標準的な凸最適化手法や強い双対性を導入しようとすると、これは困難な課題である。これを克服するために、我々は、制約が課される補助的な予測変数を持つ新しい鞍点ラグランジアンを導入する。補助変数を除去すると、線形制約を満たすために導入されたラグランジュ乗数に関する双対最小化問題が導かれる。この最小化問題は、重み行列に関する標準的な学習問題と組み合わされる。この理論的展開から、ラグランジュパラメータを、制約に由来する固定重みを持つ追加の最終層隠れユニットとして解釈するという驚くべき結果が得られた。その結果、ラグランジュパラメータを含むにもかかわらず、標準的な最小化手法が使えるという、予想外ではあるが、非常に満足のいく発見をすることができた。将来的には、マルチラベル分類から制約付きオートエンコーダまで、様々な例が想定される。

要約(オリジナル)

We seek to impose linear, equality constraints in feedforward neural networks. As top layer predictors are usually nonlinear, this is a difficult task if we seek to deploy standard convex optimization methods and strong duality. To overcome this, we introduce a new saddle-point Lagrangian with auxiliary predictor variables on which constraints are imposed. Elimination of the auxiliary variables leads to a dual minimization problem on the Lagrange multipliers introduced to satisfy the linear constraints. This minimization problem is combined with the standard learning problem on the weight matrices. From this theoretical line of development, we obtain the surprising interpretation of Lagrange parameters as additional, penultimate layer hidden units with fixed weights stemming from the constraints. Consequently, standard minimization approaches can be used despite the inclusion of Lagrange parameters — a very satisfying, albeit unexpected, discovery. Examples ranging from multi-label classification to constrained autoencoders are envisaged in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL