Controlled Learning of Pointwise Nonlinearities in Neural-Network-Like Architectures

要約

我々は、いくつかの傾き制約を受ける層状計算アーキテクチャにおける自由形式の非線形性を訓練するための一般的な変分フレームワークを提示します。
従来のトレーニング損失に追加する正則化により、トレーニング可能な各アクティベーションの 2 次の合計変動にペナルティが課されます。
傾き制約により、1-リプシッツ安定性、しっかりとした非膨張性、単調性/可逆性などの特性を課すことができます。
これらの特性は、特定のクラスの信号処理アルゴリズム (プラグ アンド プレイ スキーム、展開された近位勾配、可逆フローなど) が適切に機能することを保証するために重要です。
我々は、前述の制約付き最適化問題の大域最適が、適応型不均一線形スプラインである非線形性を使用して達成されることを証明します。
次に、適切な (不均一な) B スプライン基底で非線形性を表すことによって、結果として生じる関数最適化問題を数値的に解決する方法を示します。
最後に、画像のノイズ除去と逆問題の解決のための (弱) 凸正則化器のデータ駆動型設計を備えたフレームワークの使用法を示します。

要約(オリジナル)

We present a general variational framework for the training of freeform nonlinearities in layered computational architectures subject to some slope constraints. The regularization that we add to the traditional training loss penalizes the second-order total variation of each trainable activation. The slope constraints allow us to impose properties such as 1-Lipschitz stability, firm non-expansiveness, and monotonicity/invertibility. These properties are crucial to ensure the proper functioning of certain classes of signal-processing algorithms (e.g., plug-and-play schemes, unrolled proximal gradient, invertible flows). We prove that the global optimum of the stated constrained-optimization problem is achieved with nonlinearities that are adaptive nonuniform linear splines. We then show how to solve the resulting function-optimization problem numerically by representing the nonlinearities in a suitable (nonuniform) B-spline basis. Finally, we illustrate the use of our framework with the data-driven design of (weakly) convex regularizers for the denoising of images and the resolution of inverse problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google