Masked Face Inpainting Through Residual Attention UNet

要約

フェイス マスクの除去など、高テクスチャ領域でのリアルなイメージの復元は困難です。
最先端の深層学習ベースの方法は、高忠実度を保証できず、勾配消失の問題 (たとえば、最初の層で重みがわずかに更新される) と空間情報の損失により、トレーニングが不安定になります。
それらはまた、セグメンテーションの意味などの中間段階にも依存し、外部マスクが必要です。
この論文では、残留注意 UNet を使用して顔マスクを除去し、グラウンド トゥルースの顔構造とのギャップを最小限に抑えながら、細かいディテールで顔を復元するブラインド マスク顔修復法を提案します。
残差ブロックは、次のレイヤーに情報をフィードし、約 2 ホップ離れたレイヤーに直接フィードして、勾配消失の問題を解決します。
さらに、アテンション ユニットは、モデルが関連するマスク領域に集中するのに役立ち、リソースを削減してモデルを高速化します。
公開されている CelebA データセットでの広範な実験は、提案されたモデルの実現可能性と堅牢性を示しています。
コードは \url{https://github.com/mdhosen/Mask-Face-Inpainting-Using-Residual-Attention-Unet} で入手できます。

要約(オリジナル)

Realistic image restoration with high texture areas such as removing face masks is challenging. The state-of-the-art deep learning-based methods fail to guarantee high-fidelity, cause training instability due to vanishing gradient problems (e.g., weights are updated slightly in initial layers) and spatial information loss. They also depend on intermediary stage such as segmentation meaning require external mask. This paper proposes a blind mask face inpainting method using residual attention UNet to remove the face mask and restore the face with fine details while minimizing the gap with the ground truth face structure. A residual block feeds info to the next layer and directly into the layers about two hops away to solve the gradient vanishing problem. Besides, the attention unit helps the model focus on the relevant mask region, reducing resources and making the model faster. Extensive experiments on the publicly available CelebA dataset show the feasibility and robustness of our proposed model. Code is available at \url{https://github.com/mdhosen/Mask-Face-Inpainting-Using-Residual-Attention-Unet}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google