Dynamic Adaptive Threshold based Learning for Noisy Annotations Robust Facial Expression Recognition

要約

現実世界の表情認識 (FER) データセットは、クラウドソーシング、表現のあいまいさ、アノテーターの主観性、およびクラス間の類似性によるノイズの多いアノテーションに悩まされています。
ただし、最近の深層ネットワークには、ノイズの多い注釈を記憶する強力な能力があり、機能の埋め込みが破損したり、一般化が不十分になったりします。
ノイズの多い注釈を処理するために、トレーニング中に動的クラス固有のしきい値に基づいてクリーンなサンプルが選択される動的 FER 学習フレームワーク (DNFER) を提案します。
具体的には、DNFER は、選択されたクリーンなサンプルを使用した教師ありトレーニングと、すべてのサンプルを使用した教師なしの一貫したトレーニングに基づいています。
トレーニング中、各ミニバッチの平均事後クラス確率は、教師ありトレーニング用のクリーン サンプルを選択するための動的なクラス固有のしきい値として使用されます。
このしきい値はノイズ レートとは無関係であり、他の方法とは異なりクリーンなデータは必要ありません。
さらに、すべてのサンプルから学習するために、弱く増強された画像と強く増強された画像の間の事後分布は、教師なし一貫性損失を使用して整列されます。
RAFDB、FERPlus、SFEW、AffectNet などの合成および実際のノイズのある注釈付き FER データセットの両方で DNFER の堅牢性を示します。

要約(オリジナル)

The real-world facial expression recognition (FER) datasets suffer from noisy annotations due to crowd-sourcing, ambiguity in expressions, the subjectivity of annotators and inter-class similarity. However, the recent deep networks have strong capacity to memorize the noisy annotations leading to corrupted feature embedding and poor generalization. To handle noisy annotations, we propose a dynamic FER learning framework (DNFER) in which clean samples are selected based on dynamic class specific threshold during training. Specifically, DNFER is based on supervised training using selected clean samples and unsupervised consistent training using all the samples. During training, the mean posterior class probabilities of each mini-batch is used as dynamic class-specific threshold to select the clean samples for supervised training. This threshold is independent of noise rate and does not need any clean data unlike other methods. In addition, to learn from all samples, the posterior distributions between weakly-augmented image and strongly-augmented image are aligned using an unsupervised consistency loss. We demonstrate the robustness of DNFER on both synthetic as well as on real noisy annotated FER datasets like RAFDB, FERPlus, SFEW and AffectNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google