Control, Transport and Sampling: Towards Better Loss Design

要約

拡散ベースのサンプリング、最適輸送、およびシュオーディンガー橋問題への共有リンクを介した確率的最適制御の間の接続を活用して、$\nu$ を $\mu$ に輸送するために使用できる新しい目的関数を提案します。
最適に制御されたダイナミクスを介して、ターゲット $\mu$ からサンプルを取得します。
パスごとの視点の重要性と、パス測定におけるさまざまな最適性条件が有効なトレーニング損失の設計に果たせる役割、およびそれらを慎重に選択することで実装時に数値上の利点がもたらされることを強調します。
Schr\’odinger ブリッジの形式主義に基づくと、ニューラル ネットワークのトレーニングに関して、帰納的バイアスを焼き込む実用的な機能が追加されます。

要約(オリジナル)

Leveraging connections between diffusion-based sampling, optimal transport, and stochastic optimal control through their shared links to the Schr\’odinger bridge problem, we propose novel objective functions that can be used to transport $\nu$ to $\mu$, consequently sample from the target $\mu$, via optimally controlled dynamics. We highlight the importance of the pathwise perspective and the role various optimality conditions on the path measure can play for the design of valid training losses, the careful choice of which offer numerical advantages in implementation. Basing the formalism on Schr\’odinger bridge comes with the additional practical capability of baking in inductive bias when it comes to Neural Network training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google