DiffusionMat: Alpha Matting as Sequential Refinement Learning

要約

このペーパーでは、粗いアルファ マットから洗練されたアルファ マットへの移行に拡散モデルを使用する新しい画像マット フレームワークである DiffusionMat を紹介します。
単にアルファマット予測のためのおおまかなガイダンスとしてトライマップを利用する従来の方法とは異なり、私たちのアプローチは、画像マッティングを逐次改​​良学習プロセスとして扱います。
このプロセスは、トライマップにノイズを追加することから始まり、事前トレーニングされた拡散モデルを使用して反復的にノイズを除去します。これにより、予測がクリーンなアルファ マットに向かって段階的にガイドされます。
私たちのフレームワークの主な革新は、各ノイズ除去ステップで出力を調整し、最終結果が入力画像の構造と一致することを保証する補正モジュールです。
また、アルファ信頼性伝播も紹介します。これは、信頼できるアルファ情報でトライマップ領域を選択的に強化することで、利用可能なガイダンスの有用性を最大化するように設計された新しい手法であり、これにより修正タスクが簡素化されます。
補正モジュールをトレーニングするために、アルファ マットのエッジの精度と不透明領域と透明領域の一貫性をターゲットとした特殊な損失関数を考案します。
いくつかの画像マット化ベンチマークにわたってモデルを評価したところ、その結果は、DifffusionMat が既存の手法よりも一貫して優れていることを示しています。
プロジェクトページ:~\url{https://cnnlstm.github.io/DiffusionMat

要約(オリジナル)

In this paper, we introduce DiffusionMat, a novel image matting framework that employs a diffusion model for the transition from coarse to refined alpha mattes. Diverging from conventional methods that utilize trimaps merely as loose guidance for alpha matte prediction, our approach treats image matting as a sequential refinement learning process. This process begins with the addition of noise to trimaps and iteratively denoises them using a pre-trained diffusion model, which incrementally guides the prediction towards a clean alpha matte. The key innovation of our framework is a correction module that adjusts the output at each denoising step, ensuring that the final result is consistent with the input image’s structures. We also introduce the Alpha Reliability Propagation, a novel technique designed to maximize the utility of available guidance by selectively enhancing the trimap regions with confident alpha information, thus simplifying the correction task. To train the correction module, we devise specialized loss functions that target the accuracy of the alpha matte’s edges and the consistency of its opaque and transparent regions. We evaluate our model across several image matting benchmarks, and the results indicate that DiffusionMat consistently outperforms existing methods. Project page at~\url{https://cnnlstm.github.io/DiffusionMat

arxiv情報

提供元, 利用サービス

arxiv.jp, Google