JacNet: Learning Functions with Structured Jacobians

要約

ニューラル ネットワークは、入力ドメインからターゲット ドメインへのおおよそのマッピングを学習するようにトレーニングされます。
有用な近似を学習するには、真のマッピングに関する事前知識を組み込むことが重要です。
現在のアーキテクチャでは、入出力マッピングの導関数に構造を強制するのは困難です。
ニューラルネットワークを使用して入出力関数のヤコビアンを直接学習することを提案します。これにより、導関数の制御が容易になります。
我々は、可逆性を可能にする導関数の構造化に焦点を当て、$k$-Lipschitz などの他の有用な事前確率を強制できることも示します。
このアプローチを使用すると、可逆であることが保証されている単純な関数の近似を学習し、逆関数を簡単に計算できます。
1-リプシッツ関数についても同様の結果を示します。

要約(オリジナル)

Neural networks are trained to learn an approximate mapping from an input domain to a target domain. Incorporating prior knowledge about true mappings is critical to learning a useful approximation. With current architectures, it is challenging to enforce structure on the derivatives of the input-output mapping. We propose to use a neural network to directly learn the Jacobian of the input-output function, which allows easy control of the derivative. We focus on structuring the derivative to allow invertibility and also demonstrate that other useful priors, such as $k$-Lipschitz, can be enforced. Using this approach, we can learn approximations to simple functions that are guaranteed to be invertible and easily compute the inverse. We also show similar results for 1-Lipschitz functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google