Combating Uncertainty and Class Imbalance in Facial Expression Recognition

要約

表情の認識は、コンピューター ビジョンの課題です。
主な理由は、データ収集によるクラスの不均衡と、あいまいな表情や一貫性のないラベルなどの固有のノイズによる不確実性です。
ただし、現在の研究は、クラスの不均衡の問題または不確実性の問題のいずれかに焦点を当てており、これら2つの問題に対処する方法の交差点を無視しています.
したがって、この論文では、上記の問題を解決するために Resnet と Attention に基づくフレームワークを提案します。
クラスごとにウエイトを設計しています。
ペナルティ メカニズムを通じて、モデルはトレーニング中の小さなサンプルの学習により注意を払い、結果として生じるモデルの精度の低下は、畳み込みブロック アテンション モジュール (CBAM) によって改善できます。
一方、バックボーン ネットワークは、各サンプルの不確実な機能も学習します。
サンプル間で不確実な特徴を混合することにより、モデルは分類に使用できる特徴をより適切に学習できるため、不確実性が抑制されます。
実験では、表情データセット (AffectNet、RAF-DB など) の精度の点で、私たちの方法がほとんどの基本的な方法を上回っており、クラスの不均衡の問題もうまく解決することが示されています。

要約(オリジナル)

Recognition of facial expression is a challenge when it comes to computer vision. The primary reasons are class imbalance due to data collection and uncertainty due to inherent noise such as fuzzy facial expressions and inconsistent labels. However, current research has focused either on the problem of class imbalance or on the problem of uncertainty, ignoring the intersection of how to address these two problems. Therefore, in this paper, we propose a framework based on Resnet and Attention to solve the above problems. We design weight for each class. Through the penalty mechanism, our model will pay more attention to the learning of small samples during training, and the resulting decrease in model accuracy can be improved by a Convolutional Block Attention Module (CBAM). Meanwhile, our backbone network will also learn an uncertain feature for each sample. By mixing uncertain features between samples, the model can better learn those features that can be used for classification, thus suppressing uncertainty. Experiments show that our method surpasses most basic methods in terms of accuracy on facial expression data sets (e.g., AffectNet, RAF-DB), and it also solves the problem of class imbalance well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google