Regularization by Texts for Latent Diffusion Inverse Solvers

要約

最近の拡散モデルの出現により、これらのモデルを効果的な生成事前分布として活用することで、逆問題の解決が大幅に進歩しました。
それにもかかわらず、多くの場合、測定における固有のあいまいさまたは固有のシステム対称性が原因で、このような問題の不適切な性質に関連する課題が残っています。
これに対処するために、知覚バイアスを通じて視覚的な曖昧さを解決する人間の能力からインスピレーションを得て、テキストによる正則化による新しい潜在拡散逆ソルバー (TReg) を紹介します。
具体的には、TReg は、逆拡散サンプリング中に解の先入観のテキスト記述を適用します。その記述は、適応的否定のためのヌルテキスト最適化を通じて動的に強化されます。
私たちの包括的な実験結果は、TReg が逆問題のあいまいさをうまく軽減し、その有効性と精度を向上させることを示しています。

要約(オリジナル)

The recent advent of diffusion models has led to significant progress in solving inverse problems, leveraging these models as effective generative priors. Nonetheless, there remain challenges related to the ill-posed nature of such problems, often due to inherent ambiguities in measurements or intrinsic system symmetries. To address this, drawing inspiration from the human ability to resolve visual ambiguities through perceptual biases, here we introduce a novel latent diffusion inverse solver by regularization by texts (TReg). Specifically, TReg applies the textual description of the preconception of the solution during the reverse diffusion sampling, of which the description is dynamically reinforced through null-text optimization for adaptive negation. Our comprehensive experimental results demonstrate that TReg successfully mitigates ambiguity in the inverse problems, enhancing their effectiveness and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google