Super-Resolving Face Image by Facial Parsing Information

要約

タイトル – 顔の解析情報による超解像処理された顔画像
要約 – 本論文では、低画素数の顔画像を高画素数に変換する技術の一つである、顔の超解像処理を紹介する。従来の超解像処理の仕組みでは低画素数の画像をより洗練された高画素数に変換するために、対応する高画素数の画像を参照して画像を変換していた。しかし、本論文では、超解像処理ネットワークが低画素数の顔画像から顔の優先順位を（つまり解析マップを）直接抽出することができるようになっている。解析マップを最大限活用するため、解析マップアテンションフュージョンブロックを設計し、パーシングマップの情報を効果的に探索するだけでなく、強力なアテンションメカニズムを結合することができる。また、高解像度の特徴はより正確な空間情報を、低解像度の特徴は強力なコンテキスト情報を提供するということから、これらの補足情報を維持・活用するために、マルチスケールリファインブロックを開発し、特徴表現を改良するためにマルチスケールの特徴を活用することができるようになっている。実験結果は、量的メトリックと視覚的品質において、私たちの方法が既存の技術を上回っていることを示している。なお、ソースコードはhttps://github.com/wcy-cs/FishFSRNetで利用可能である。

要点：
– 顔の超解像処理は低解像度の顔画像を高解像度に変換する技術。
– 本論文では、超解像処理ネットワークが低画素数の顔画像から顔の優先順位を（つまり解析マップを）直接抽出することができるようになっている。
– 解析マップアテンションフュージョンブロックが設計され、パーシングマップの情報を効果的に探索し、強力なアテンションメカニズムを結合することができる。
– マルチスケールリファインブロックが開発され、特徴表現を改良するためにマルチスケールの特徴を活用することができる。
– 私たちの方法が既存の技術を上回っていることを示す実験結果がある。
– ソースコードはhttps://github.com/wcy-cs/FishFSRNetで利用可能である。

要約(オリジナル)

Face super-resolution is a technology that transforms a low-resolution face image into the corresponding high-resolution one. In this paper, we build a novel parsing map guided face super-resolution network which extracts the face prior (i.e., parsing map) directly from low-resolution face image for the following utilization. To exploit the extracted prior fully, a parsing map attention fusion block is carefully designed, which can not only effectively explore the information of parsing map, but also combines powerful attention mechanism. Moreover, in light of that high-resolution features contain more precise spatial information while low-resolution features provide strong contextual information, we hope to maintain and utilize these complementary information. To achieve this goal, we develop a multi-scale refine block to maintain spatial and contextual information and take advantage of multi-scale features to refine the feature representations. Experimental results demonstrate that our method outperforms the state-of-the-arts in terms of quantitative metrics and visual quality. The source codes will be available at https://github.com/wcy-cs/FishFSRNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI