What makes you, you? Analyzing Recognition by Swapping Face Parts

要約

ディープラーニングは、前例のない精度で高度な顔認識を行います。
ただし、顔の局所的な部分が全体的な認識パフォーマンスにどのように影響するかを理解することは、まだほとんど不明です。
とりわけ、顔の交換はこの目的のために実験されましたが、顔全体に対してのみです。
この論文では、目、鼻、口などのさまざまな顔の部分の認識の関連性を解きほぐす方法として、顔の部分を交換することを提案します。
私たちの方法では、ソース面からターゲット面へのパーツの交換は、3D事前フィッティングによって実行されます。これにより、パーツ間の密なピクセル対応が確立され、ポーズの違いも処理されます。
次に、シームレスクローンを使用して、マップされたソース領域とターゲットの顔の形状および肌の色調の間のスムーズな遷移を取得します。
スワップされた画像が深いネットワークによって分類され、目と眉の領域が目立つことを示すときに、いくつかの予備的な結論を引き出すことができる実験プロトコルを考案しました。
https://github.com/clferrari/FacePartsSwapで入手可能なコード

要約(オリジナル)

Deep learning advanced face recognition to an unprecedented accuracy. However, understanding how local parts of the face affect the overall recognition performance is still mostly unclear. Among others, face swap has been experimented to this end, but just for the entire face. In this paper, we propose to swap facial parts as a way to disentangle the recognition relevance of different face parts, like eyes, nose and mouth. In our method, swapping parts from a source face to a target one is performed by fitting a 3D prior, which establishes dense pixels correspondence between parts, while also handling pose differences. Seamless cloning is then used to obtain smooth transitions between the mapped source regions and the shape and skin tone of the target face. We devised an experimental protocol that allowed us to draw some preliminary conclusions when the swapped images are classified by deep networks, indicating a prominence of the eyes and eyebrows region. Code available at https://github.com/clferrari/FacePartsSwap

arxiv情報

提供元, 利用サービス

arxiv.jp, Google