Triplet Loss-less Center Loss Sampling Strategies in Facial Expression Recognition Scenarios

要約

顔の表情は膨大な情報を伝え、感情表現において重要な役割を担っている。ディープニューラルネットワーク（DNN）は、ディープメトリック学習（DML）技術を併用することで、表情認識（FER）アプリケーションにおけるモデルの識別能力を向上させることができます。クロスエントロピーのような分類損失関数だけを備えたDNNは、DMLのサポート損失項目で強化されたときと同様に、クラス内の特徴変動を圧縮したり、クラス間の特徴距離を分離したりすることができません。TCL（Triplet Center Loss）関数は、埋め込み空間におけるサンプルの埋め込み次元の全てに適用される。我々の研究では、完全合成、半合成、予測に基づく負のサンプル選択戦略の3つの戦略を開発した。より良い結果を得るために、入力サンプルの高意味的な深層特徴を用いて、画素単位と要素単位の注目係数の組み合わせを提供する選択的注目モジュールを導入した。提案手法を高度にアンバランスなデータセットであるRAF-DBで評価した。実験結果より、3つのネガティブサンプル選択戦略すべてにおいて、ベースラインと比較して有意な改善が見られる。

要約(オリジナル)

Facial expressions convey massive information and play a crucial role in emotional expression. Deep neural network (DNN) accompanied by deep metric learning (DML) techniques boost the discriminative ability of the model in facial expression recognition (FER) applications. DNN, equipped with only classification loss functions such as Cross-Entropy cannot compact intra-class feature variation or separate inter-class feature distance as well as when it gets fortified by a DML supporting loss item. The triplet center loss (TCL) function is applied on all dimensions of the sample’s embedding in the embedding space. In our work, we developed three strategies: fully-synthesized, semi-synthesized, and prediction-based negative sample selection strategies. To achieve better results, we introduce a selective attention module that provides a combination of pixel-wise and element-wise attention coefficients using high-semantic deep features of input samples. We evaluated the proposed method on the RAF-DB, a highly imbalanced dataset. The experimental results reveal significant improvements in comparison to the baseline for all three negative sample selection strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL