InstantRestore: Single-Step Personalized Face Restoration with Shared-Image Attention

要約

顔画像の復元は、さまざまな劣化の種類、リアルタイム処理の要求、そして最も重要なことに、アイデンティティ固有の特徴の保存などの課題に対処しながら、劣化した顔画像を強化することを目的としています。
既存の方法は、特に深刻な劣化下では、処理時間が遅く、最適ではない復元が行われることが多く、より詳細なレベルの ID の詳細を正確に再構築できません。
これらの問題に対処するために、私たちは InstantRestore を導入します。これは、単一ステップの画像拡散モデルと注意共有メカニズムを利用して、迅速かつパーソナライズされた顔を復元するための新しいフレームワークです。
さらに、InstantRestore には新しいランドマークの注意喪失機能が組み込まれており、主要な顔のランドマークを調整して注意マップを洗練し、アイデンティティの保存を強化します。
推論時に、劣化した入力と少数 (~4) の参照イメージのセットが与えられると、InstantRestore はネットワーク経由で 1 回の順方向パスを実行し、ほぼリアルタイムのパフォーマンスを実現します。
完全な拡散プロセスやアイデンティティごとのモデル調整に依存する従来のアプローチとは異なり、InstantRestore は大規模なアプリケーションに適したスケーラブルなソリューションを提供します。
広範な実験により、InstantRestore が品質と速度の点で既存の方法よりも優れており、アイデンティティを保持した顔の復元には魅力的な選択肢であることが実証されています。

要約(オリジナル)

Face image restoration aims to enhance degraded facial images while addressing challenges such as diverse degradation types, real-time processing demands, and, most crucially, the preservation of identity-specific features. Existing methods often struggle with slow processing times and suboptimal restoration, especially under severe degradation, failing to accurately reconstruct finer-level identity details. To address these issues, we introduce InstantRestore, a novel framework that leverages a single-step image diffusion model and an attention-sharing mechanism for fast and personalized face restoration. Additionally, InstantRestore incorporates a novel landmark attention loss, aligning key facial landmarks to refine the attention maps, enhancing identity preservation. At inference time, given a degraded input and a small (~4) set of reference images, InstantRestore performs a single forward pass through the network to achieve near real-time performance. Unlike prior approaches that rely on full diffusion processes or per-identity model tuning, InstantRestore offers a scalable solution suitable for large-scale applications. Extensive experiments demonstrate that InstantRestore outperforms existing methods in quality and speed, making it an appealing choice for identity-preserving face restoration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google