Piecewise Normalizing Flows

要約

【タイトル】Piecewise Normalizing Flows

【要約】
– 通常化フローは、ベース分布から反転可能な変換によって複雑な確率密度をモデリングする確立された手法である。
– ただし、ターゲット分布を通常化フローでキャプチャできる精度は、ベース分布のトポロジーに強く影響を受ける。ターゲットとベースのトポロジーに不一致がある場合、多峰性問題のように性能が低下することがある。
– 多くの研究が、ガウス混合モデル[Izmailov et al.、2020、Ardizzone et al.、2020、Hagemann and Neumayer、2021]または学習による受容/拒否サンプリング [Stimper et al.、2022]を使用して、ベース分布のトポロジーをターゲットによりよく合わせることを試みている。
– 本研究は、ターゲット分布をクラスタに分割し、標準正規分布のベース分布により適したベース分布を持つトポロジーにしたPiecewise通常化フローを導入し、複雑な多峰的なターゲットをモデリングするための一連のフローを学習する。
– フローのPiecewise性質を利用することで、並列化によってトレーニングの計算コストを大幅に削減できる。
– 標準ベンチマークを使用してPiecewiseフローの性能を示し、多峰性分布のモデリングにおいてStimper et al.の手法と精度を比較する。

要約(オリジナル)

Normalizing flows are an established approach for modelling complex probability densities through invertible transformations from a base distribution. However, the accuracy with which the target distribution can be captured by the normalizing flow is strongly influenced by the topology of the base distribution. A mismatch between the topology of the target and the base can result in a poor performance, as is the case for multi-modal problems. A number of different works have attempted to modify the topology of the base distribution to better match the target, either through the use of Gaussian Mixture Models [Izmailov et al., 2020, Ardizzone et al., 2020, Hagemann and Neumayer, 2021] or learned accept/reject sampling [Stimper et al., 2022]. We introduce piecewise normalizing flows which divide the target distribution into clusters, with topologies that better match the standard normal base distribution, and train a series of flows to model complex multi-modal targets. The piecewise nature of the flows can be exploited to significantly reduce the computational cost of training through parallelization. We demonstrate the performance of the piecewise flows using standard benchmarks and compare the accuracy of the flows to the approach taken in Stimper et al., 2022 for modelling multi-modal distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI