Rethinking Losses for Diffusion Bridge Samplers

要約

拡散橋は、非正規化された分布からサンプリングするための深い学習方法の有望なクラスです。
最近の作品は、RKL勾配を計算するためにレパラメーター化のトリックを使用した場合、ログ分散（LV）の損失が逆カルバック – leibler（RKL）損失を一貫して上回ることを示しています。
オンポリシーLV損失は、非学習不可能な前方プロセスを備えた拡散サンプラーの対数誘導性トリックと組み合わせると、RKL損失と同一の勾配を生成しますが、この等価性は、拡散橋や拡散係数が学習した場合には保持されません。
この洞察に基づいて、拡散ブリッジの場合、LV損失はデータ処理の不平等を介してRKL損失のように動機付けられる最適化目標を表していないと主張します。
我々の分析は、log-derivative trick（RKL-ld）でRKL損失を採用すると、これらの概念的な問題を回避するだけでなく、LVの損失を一貫して上回ることが示されています。
挑戦的なベンチマーク上のさまざまな種類の拡散橋を伴う実験結果は、RKL-LDの損失で訓練されたサンプラーがより良いパフォーマンスを達成することを示しています。
実用的な観点から、RKL-LDはハイパーパラメーターの最適化が大幅に少なくなり、より安定したトレーニング行動が得られることがわかります。

要約(オリジナル)

Diffusion bridges are a promising class of deep-learning methods for sampling from unnormalized distributions. Recent works show that the Log Variance (LV) loss consistently outperforms the reverse Kullback-Leibler (rKL) loss when using the reparametrization trick to compute rKL-gradients. While the on-policy LV loss yields identical gradients to the rKL loss when combined with the log-derivative trick for diffusion samplers with non-learnable forward processes, this equivalence does not hold for diffusion bridges or when diffusion coefficients are learned. Based on this insight we argue that for diffusion bridges the LV loss does not represent an optimization objective that can be motivated like the rKL loss via the data processing inequality. Our analysis shows that employing the rKL loss with the log-derivative trick (rKL-LD) does not only avoid these conceptual problems but also consistently outperforms the LV loss. Experimental results with different types of diffusion bridges on challenging benchmarks show that samplers trained with the rKL-LD loss achieve better performance. From a practical perspective we find that rKL-LD requires significantly less hyperparameter optimization and yields more stable training behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google