Exploiting Diffusion Prior for Generalizable Pixel-Level Semantic Prediction

要約

最近の高度な Text-to-Image (T2I) 拡散モデルによって生成されたコンテンツは、許容できないドメイン ギャップのため、既存の既製のプロパティの意味予測子では推定できないほど想像力が豊かになる場合があります。
ピクセルレベルのセマンティック予測タスクの事前トレーニングとして事前トレーニングされた T2I モデルを利用するパイプラインである DMP を紹介します。
決定論的予測タスクと確率的 T2I モデル間の不整合に対処するために、一連の補間を通じて拡散プロセスを再定式化し、入力 RGB 画像と出力予測分布の間の決定論的マッピングを確立します。
一般化可能性を維持するために、低ランク適応を使用して事前トレーニングされたモデルを微調整します。
3D プロパティ推定、セマンティック セグメンテーション、固有の画像分解を含む 5 つのタスクにわたる広範な実験により、提案された方法の有効性が実証されました。
限られた領域のトレーニング データにもかかわらず、このアプローチは任意の画像に対して忠実な推定をもたらし、既存の最先端のアルゴリズムを上回ります。

要約(オリジナル)

Contents generated by recent advanced Text-to-Image (T2I) diffusion models are sometimes too imaginative for existing off-the-shelf property semantic predictors to estimate due to the immitigable domain gap. We introduce DMP, a pipeline utilizing pre-trained T2I models as a prior for pixel-level semantic prediction tasks. To address the misalignment between deterministic prediction tasks and stochastic T2I models, we reformulate the diffusion process through a sequence of interpolations, establishing a deterministic mapping between input RGB images and output prediction distributions. To preserve generalizability, we use low-rank adaptation to fine-tune pre-trained models. Extensive experiments across five tasks, including 3D property estimation, semantic segmentation, and intrinsic image decomposition, showcase the efficacy of the proposed method. Despite limited-domain training data, the approach yields faithful estimations for arbitrary images, surpassing existing state-of-the-art algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google