Unpaired Image-to-Image Translation via Neural Schrödinger Bridge

要約

拡散モデルは、確率微分方程式（SDE）をシミュレートしてノイズからデータを生成する、生成モデルの強力なクラスである。拡散モデルは目覚ましい進歩を遂げたが、ガウス事前仮定に起因する、対になっていない画像間（I2I）変換タスクでは限界がある。2つの任意の分布間の変換を行うSDEを学習するSchr'{o}dinger Bridge (SB)が、この問題に対する魅力的な解決策として台頭してきた。しかし、我々の知る限り、これまでのSBモデルの中で、高解像度画像間の非対変換に成功したものはない。本研究では、SB問題を一連の敵対的学習問題として表現するUnpaired Neural Schr'{o}dinger Bridge (UNSB)を提案する。これにより、対になっていないデータ間のSBを学習するために、高度な識別器と正則化を組み込むことができる。UNSBがスケーラブルであり、様々な非対I2I翻訳タスクを成功裏に解くことを示す。コード\URL{https://github.com/cyclomon/UNSB}

要約(オリジナル)

Diffusion models are a powerful class of generative models which simulate stochastic differential equations (SDEs) to generate data from noise. While diffusion models have achieved remarkable progress, they have limitations in unpaired image-to-image (I2I) translation tasks due to the Gaussian prior assumption. Schr\'{o}dinger Bridge (SB), which learns an SDE to translate between two arbitrary distributions, have risen as an attractive solution to this problem. Yet, to our best knowledge, none of SB models so far have been successful at unpaired translation between high-resolution images. In this work, we propose Unpaired Neural Schr\'{o}dinger Bridge (UNSB), which expresses the SB problem as a sequence of adversarial learning problems. This allows us to incorporate advanced discriminators and regularization to learn a SB between unpaired data. We show that UNSB is scalable and successfully solves various unpaired I2I translation tasks. Code: \url{https://github.com/cyclomon/UNSB}

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL