Uncertain Label Correction via Auxiliary Action Unit Graphs for Facial Expression Recognition

要約

高品質の注釈付き画像は、深い表情認識 (FER) メソッドにとって重要です。
ただし、主に大規模な公開データセットに存在する不確実なラベルは、トレーニング プロセスを誤解させることがよくあります。
この論文では、ULC-AG と呼ばれる補助アクション ユニット (AU) グラフを使用して、表情の不確実なラベル補正を実現します。
具体的には、重み付けされた正則化モジュールが導入され、有効なサンプルが強調表示され、すべてのバッチでカテゴリの不均衡が抑制されます。
感情と AU の間の潜在的な依存関係に基づいて、グラフ畳み込みレイヤーを使用する補助ブランチが追加され、グラフ トポロジからセマンティック情報が抽出されます。
最後に、再ラベル付け戦略は、機能の類似性をセマンティック テンプレートと比較することにより、あいまいな注釈を修正します。
実験では、ULC-AG が RAF-DB および AffectNet データセットでそれぞれ 89.31% および 61.57% の精度を達成し、ベースラインおよび最先端の方法よりも優れていることが示されています。

要約(オリジナル)

High-quality annotated images are significant to deep facial expression recognition (FER) methods. However, uncertain labels, mostly existing in large-scale public datasets, often mislead the training process. In this paper, we achieve uncertain label correction of facial expressions using auxiliary action unit (AU) graphs, called ULC-AG. Specifically, a weighted regularization module is introduced to highlight valid samples and suppress category imbalance in every batch. Based on the latent dependency between emotions and AUs, an auxiliary branch using graph convolutional layers is added to extract the semantic information from graph topologies. Finally, a re-labeling strategy corrects the ambiguous annotations by comparing their feature similarities with semantic templates. Experiments show that our ULC-AG achieves 89.31% and 61.57% accuracy on RAF-DB and AffectNet datasets, respectively, outperforming the baseline and state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google