Dual Associated Encoder for Face Restoration

要約

低品質 (LQ) 画像から顔の詳細を復元することは、実際のさまざまな劣化によって引き起こされる姿勢の悪さのため、依然として困難な問題です。
既存のコードブックは、オートエンコーダーと高品質 (HQ) 機能の学習済みコードブックを活用することで不良ポーズを軽減し、顕著な品質を実現します。
ただし、このパラダイムにおける既存のアプローチは、LQ イメージと HQ 画像の間のドメイン ギャップを無視して、HQ 画像を復元するために HQ データで事前トレーニングされた単一のエンコーダーに依存することがよくあります。
その結果、LQ 入力のエンコードが不十分になり、最適なパフォーマンスが得られない可能性があります。
この問題に取り組むために、私たちは DAEFR という名前の新しいデュアルブランチ フレームワークを提案します。
私たちの方法では、LQ 入力から重要な情報を抽出する補助 LQ ブランチを導入します。
さらに、2 つのブランチ間の効果的な相乗効果を促進するためのアソシエーション トレーニングを組み込み、コード予測と出力品質を向上させます。
私たちは合成データセットと現実世界のデータセットの両方で DAEFR の有効性を評価し、顔の詳細を復元する際の優れたパフォーマンスを実証しています。

要約(オリジナル)

Restoring facial details from low-quality (LQ) images has remained a challenging problem due to its ill-posedness induced by various degradations in the wild. The existing codebook prior mitigates the ill-posedness by leveraging an autoencoder and learned codebook of high-quality (HQ) features, achieving remarkable quality. However, existing approaches in this paradigm frequently depend on a single encoder pre-trained on HQ data for restoring HQ images, disregarding the domain gap between LQ and HQ images. As a result, the encoding of LQ inputs may be insufficient, resulting in suboptimal performance. To tackle this problem, we propose a novel dual-branch framework named DAEFR. Our method introduces an auxiliary LQ branch that extracts crucial information from the LQ inputs. Additionally, we incorporate association training to promote effective synergy between the two branches, enhancing code prediction and output quality. We evaluate the effectiveness of DAEFR on both synthetic and real-world datasets, demonstrating its superior performance in restoring facial details.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google