Kinship Representation Learning with Face Componential Relation

要約

親族認識は、2 つの顔画像の被写体が親族であるか非親族であるかを判断することを目的としていますが、これは新たな挑戦的な問題です。
しかし、これまでの手法のほとんどは、顔画像間の空間的相関を考慮せず、ヒューリスティックな設計に焦点を当てていました。
この論文では、顔の構成要素（目、鼻など）間の関係情報が埋め込まれた識別的な親族表現を学習することを目的としています。
この目標を達成するために、我々は顔コンポーネント関係ネットワークを提案します。これは、クロスアテンションメカニズムを使用して画像間の顔コンポーネント間の関係を学習し、親族関係の認識に重要な顔領域を自動的に学習します。
さらに、より識別的な特徴表現を学習するために、交差注意からのガイダンスによって損失関数を適応させる顔コンポーネント関係ネットワーク (FaCoRNet) を提案します。
提案された FaCoRNet は、最大の公的親族関係認識 FIW ベンチマークにおいて、以前の最先端の手法を大幅に上回っています。

要約(オリジナル)

Kinship recognition aims to determine whether the subjects in two facial images are kin or non-kin, which is an emerging and challenging problem. However, most previous methods focus on heuristic designs without considering the spatial correlation between face images. In this paper, we aim to learn discriminative kinship representations embedded with the relation information between face components (e.g., eyes, nose, etc.). To achieve this goal, we propose the Face Componential Relation Network, which learns the relationship between face components among images with a cross-attention mechanism, which automatically learns the important facial regions for kinship recognition. Moreover, we propose Face Componential Relation Network (FaCoRNet), which adapts the loss function by the guidance from cross-attention to learn more discriminative feature representations. The proposed FaCoRNet outperforms previous state-of-the-art methods by large margins for the largest public kinship recognition FIW benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google