Generating near-infrared facial expression datasets with dimensional affect labels

要約

顔の表情の分析は、コンピュータビジョンの活発な研究分野であり続けています。
従来の方法では、主に画像を分析して典型的な個別の感情を探します。
結果として、それらは人間の複雑な感情状態の正確な描写を提供しません。
さらに、照明の分散は、可視光スペクトルでの顔の分析にとって依然として課題です。
これらの問題に対処するために、感情の変化に対してよりロバストな近赤外線（NIR）画像と組み合わせて、より広い範囲の感情を表すために、感情価と覚醒に基づく次元モデルを使用することを提案します。
利用可能な感情覚醒ラベルを備えた既存のNIR表情データセットがないため、既存のカテゴリおよび/または可視光データセットからの次元感情ラベルを備えたNIR画像データセットを作成するための2つの補完的なデータ拡張方法（顔モーフィングおよびCycleGANアプローチ）を提示します。
私たちの実験は、これらの生成されたNIRデータセットが、データ品質とベースライン予測パフォーマンスの点で既存のデータセットに匹敵することを示しています。

要約(オリジナル)

Facial expression analysis has long been an active research area of computer vision. Traditional methods mainly analyse images for prototypical discrete emotions; as a result, they do not provide an accurate depiction of the complex emotional states in humans. Furthermore, illumination variance remains a challenge for face analysis in the visible light spectrum. To address these issues, we propose using a dimensional model based on valence and arousal to represent a wider range of emotions, in combination with near infra-red (NIR) imagery, which is more robust to illumination changes. Since there are no existing NIR facial expression datasets with valence-arousal labels available, we present two complementary data augmentation methods (face morphing and CycleGAN approach) to create NIR image datasets with dimensional emotion labels from existing categorical and/or visible-light datasets. Our experiments show that these generated NIR datasets are comparable to existing datasets in terms of data quality and baseline prediction performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google