TRADE: Transfer of Distributions between External Conditions with Normalizing Flows

要約

外部制御パラメーターに依存するモデリング分布は、温度のようなシステム特性が分子構成に影響する分子シミュレーションなどの多様なアプリケーションで一般的なシナリオです。
これらのアプリケーションの関連性にもかかわらず、既存のソリューションは、不安定になりやすいモデルアーキテクチャやエネルギーベースのトレーニングに依存する必要があるため、不十分です。
境界値の問題として学習プロセスを策定することにより、これらの制限を克服する取引を導入します。
最初にI.I.D.〜サンプルまたは後方KLトレーニングのいずれかを使用して特定の条件のモデルをトレーニングすることにより、境界分布を確立します。
次に、外部パラメーターに対して非正規化密度の勾配を使用して、他の条件全体でこの情報を伝播します。
物理学に基づいたニューラルネットワークの原理に似たこの定式化により、制限的な仮定なしでパラメーター依存分布を効率的に学習することができます。
実験的に、貿易は、ベイジアンの推論や分子シミュレーションから物理格子モデルに至るまで、幅広いアプリケーションで優れた結果を達成することを実証します。

要約(オリジナル)

Modeling distributions that depend on external control parameters is a common scenario in diverse applications like molecular simulations, where system properties like temperature affect molecular configurations. Despite the relevance of these applications, existing solutions are unsatisfactory as they require severely restricted model architectures or rely on energy-based training, which is prone to instability. We introduce TRADE, which overcomes these limitations by formulating the learning process as a boundary value problem. By initially training the model for a specific condition using either i.i.d.~samples or backward KL training, we establish a boundary distribution. We then propagate this information across other conditions using the gradient of the unnormalized density with respect to the external parameter. This formulation, akin to the principles of physics-informed neural networks, allows us to efficiently learn parameter-dependent distributions without restrictive assumptions. Experimentally, we demonstrate that TRADE achieves excellent results in a wide range of applications, ranging from Bayesian inference and molecular simulations to physical lattice models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google