Kinship Representation Learning with Face Componential Relation

要約

タイトル：顔部品関係を用いた血縁関係表現の学習
・血縁関係認識は、2つの顔画像内の被写体が親族であるか非親族であるかを判断することを目的とする。これは新興かつ困難な問題である。
・多くの従来の方法は、顔画像間の空間相関を考慮せず、ヒューリスティックな設計に重点を置いている。
・本論文では、判別的な血縁関係表現を学習することを目的とし、顔部品（例：目、鼻など）間の関係情報を埋め込んだ表現を学習することを目的とする。
・この目標を達成するために、顔部品関係ネットワークを提案し、クロスアテンションメカニズムを用いて画像間の顔の部品の関係を学習し、血縁関係認識にとって重要な顔の領域を自動的に学習する。
・また、クロスアテンションによるガイダンスにより、損失関数を適応的に変更する\Learningを提案し、より区別力のある特徴表現を学習する。
・提案するMainMethodAbbrは、最大公開血縁関係認識FIWベンチマークにおいて、従来の最先端の方法より大幅に優れている。いずれも受け入れられればコードが公開される。

要約(オリジナル)

Kinship recognition aims to determine whether the subjects in two facial images are kin or non-kin, which is an emerging and challenging problem. However, most previous methods focus on heuristic designs without considering the spatial correlation between face images. In this paper, we aim to learn discriminative kinship representations embedded with the relation information between face components (e.g., eyes, nose, etc.). To achieve this goal, we propose the Face Componential Relation Network, which learns the relationship between face components among images with a cross-attention mechanism, which automatically learns the important facial regions for kinship recognition. Moreover, we propose \Learning, which adapts the loss function by the guidance from cross-attention to learn more discriminative feature representations. The proposed \MainMethodAbbr~outperforms previous state-of-the-art methods by large margins for the largest public kinship recognition FIW benchmark. The code will be publicly released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI