Personalized Restoration via Dual-Pivot Tuning

要約

生成拡散モデルは、画像復元システムのソリューションが自然画像の多様体に確実に準拠することを保証する事前モデルとして機能します。
ただし、顔画像を復元するには、特定の個人の固有の顔の特徴を正確に表現および再構築するために、個人化された事前設定が必要です。
この論文では、デュアルピボットチューニングと呼ばれる、シンプルかつ効果的なパーソナライズされた修復方法を提案します。これは、一般的な事前の整合性と各コンポーネントの明確な役割を維持しながら、ブラインド修復システムをパーソナライズする 2 段階のアプローチです。
私たちの重要な観察は、最適なパーソナライゼーションのためには、固定のテキスト ピボットを中心に生成モデルを調整する必要がある一方、パーソナライズされた生成モデルを固定の「ピボット」として使用して、ガイド ネットワークを一般的な (パーソナライズされていない) 方法で調整する必要があるということです。
。
このアプローチにより、パーソナライゼーションが復元プロセスに干渉しないことが保証され、その結果、個人のアイデンティティと劣化した画像の属性を忠実に再現した自然な外観が得られます。
私たちは、広く知られている個人の画像を使用した広範な実験を通じて、関連するベースラインと比較して、定性的および定量的なアプローチを評価しました。
驚くべきことに、私たちのパーソナライズされた事前設定は、個人の身元に関してより高い忠実度を達成するだけでなく、一般的な画質の点で最先端の一般的な事前設定よりも優れていることがわかりました。
プロジェクトのウェブページ: https://personalized-restoration.github.io

要約(オリジナル)

Generative diffusion models can serve as a prior which ensures that solutions of image restoration systems adhere to the manifold of natural images. However, for restoring facial images, a personalized prior is necessary to accurately represent and reconstruct unique facial features of a given individual. In this paper, we propose a simple, yet effective, method for personalized restoration, called Dual-Pivot Tuning – a two-stage approach that personalize a blind restoration system while maintaining the integrity of the general prior and the distinct role of each component. Our key observation is that for optimal personalization, the generative model should be tuned around a fixed text pivot, while the guiding network should be tuned in a generic (non-personalized) manner, using the personalized generative model as a fixed “pivot’. This approach ensures that personalization does not interfere with the restoration process, resulting in a natural appearance with high fidelity to the person’s identity and the attributes of the degraded image. We evaluated our approach both qualitatively and quantitatively through extensive experiments with images of widely recognized individuals, comparing it against relevant baselines. Surprisingly, we found that our personalized prior not only achieves higher fidelity to identity with respect to the person’s identity, but also outperforms state-of-the-art generic priors in terms of general image quality. Project webpage: https://personalized-restoration.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google