Facial Action Unit Detection Based on Multi-task Learning Strategy for Unlabeled Facial Images in the Wild

要約

近年、フェイシャル アクション ユニット (AU) の検出は、高コストで正確なラベリングや不正確な擬似ラベリング技術に依存することが多くなっています。
世の中にあるラベルのない大量の顔画像を、教師あり AU 検出フレームワークにどのように導入するかが、困難な問題となっています。
さらに、ほぼすべての種類の AU には、正サンプルと負サンプルのバランスが崩れているという問題があります。
他のマルチタスク学習フレームワークからインスピレーションを得て、私たちはまず、顔のランドマーク検出と AU ドメインの分離と再構成を組み合わせることにより、実際の AU 検出を強化するマルチタスク学習戦略を提案します。
私たちが導入したデュアルドメイン顔ランドマーク検出フレームワークは、AU ドメイン分離および再構成トレーニング プロセス中の正確な顔ランドマーク座標の欠如を解決できますが、これら 2 つの類似した顔タスクからの同種構造顔抽出モジュールのパラメーターは共有されます。
さらに、2 つの分離および再構成プロセスから得られた特徴の一貫性を維持するために、ピクセルレベルの特徴位置合わせスキームを提案します。
さらに、モデルパラメータの更新に対する各タイプのAUの正および負のサンプルの寄与を変更するために、重み付けされた非対称損失が提案されています。
広く使用されている 3 つのベンチマークに関する実験結果は、AU 検出のほとんどの最先端の方法に対する当社の優位性を示しています。

要約(オリジナル)

Facial Action Unit (AU) detection often relies on highly-cost accurate labeling or inaccurate pseudo labeling techniques in recent years. How to introduce large amounts of unlabeled facial images in the wild into supervised AU detection frameworks has become a challenging problem. Additionally, nearly every type of AUs has the problem of unbalanced positive and negative samples. Inspired by other multi-task learning frameworks, we first propose a multi-task learning strategy boosting AU detection in the wild through jointing facial landmark detection and AU domain separation and reconstruction. Our introduced dual domains facial landmark detection framework can solve the lack of accurate facial landmark coordinates during the AU domain separation and reconstruction training process, while the parameters of homostructural facial extraction modules from these two similar facial tasks are shared. Moreover, we propose a pixel-level feature alignment scheme to maintain the consistency of features obtained from two separation and reconstruction processes. Furthermore, a weighted asymmetric loss is proposed to change the contribution of positive and negative samples of each type of AUs to model parameters updating. Experimental results on three widely used benchmarks demonstrate our superiority to most state-of-the-art methods for AU detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google