Optimal Transport-Guided Conditional Score-Based Diffusion Models

要約

条件付きスコアベース拡散モデル (SBDM) は、ペア データを条件としてターゲット データを条件付きで生成するためのもので、画像変換で大きな成功を収めています。
ただし、条件としてペアデータが必要であり、実際のアプリケーションでは提供されるペアデータが不足します。
部分的にペアになっている、またはペアになっていないデータセットを含むアプリケーションに取り組むために、この論文では新しい最適トランスポートガイド付き条件スコアベース拡散モデル (OTCS) を提案します。
$L_2$ 正規化された教師なし最適トランスポートまたは半教師あり最適トランスポートに基づいて、ペアになっていないデータセットまたは部分的にペアになったデータセットの結合関係をそれぞれ構築します。
結合関係に基づいて、ペア設定の条件付き SBDM の再定式化と一般化に基づいて、ペアになっていない設定または部分的にペアになった設定の条件付きスコアベースのモデルをトレーニングするための目標を開発します。
推定された結合関係を使用して、ガイダンスとして互換性の高いサンプリング データを選択する「互換性による再サンプリング」戦略を設計することで、条件付きスコアベースのモデルを効果的にトレーニングします。
非ペア超解像度および半ペア画像間変換に関する広範な実験により、提案された OTCS モデルの有効性が実証されました。
最適なトランスポートの観点から、OTCS はディストリビューション間でデータをトランスポートするアプローチを提供します。これは大規模なデータセットの OT にとっての課題です。
我々は、OTCS が理論上の限界を持って OT におけるデータ転送を実現することを理論的に証明します。
コードは \url{https://github.com/XJTU-XGU/OTCS} で入手できます。

要約(オリジナル)

Conditional score-based diffusion model (SBDM) is for conditional generation of target data with paired data as condition, and has achieved great success in image translation. However, it requires the paired data as condition, and there would be insufficient paired data provided in real-world applications. To tackle the applications with partially paired or even unpaired dataset, we propose a novel Optimal Transport-guided Conditional Score-based diffusion model (OTCS) in this paper. We build the coupling relationship for the unpaired or partially paired dataset based on $L_2$-regularized unsupervised or semi-supervised optimal transport, respectively. Based on the coupling relationship, we develop the objective for training the conditional score-based model for unpaired or partially paired settings, which is based on a reformulation and generalization of the conditional SBDM for paired setting. With the estimated coupling relationship, we effectively train the conditional score-based model by designing a “resampling-by-compatibility” strategy to choose the sampled data with high compatibility as guidance. Extensive experiments on unpaired super-resolution and semi-paired image-to-image translation demonstrated the effectiveness of the proposed OTCS model. From the viewpoint of optimal transport, OTCS provides an approach to transport data across distributions, which is a challenge for OT on large-scale datasets. We theoretically prove that OTCS realizes the data transport in OT with a theoretical bound. Code is available at \url{https://github.com/XJTU-XGU/OTCS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google