Multi-scale Promoted Self-adjusting Correlation Learning for Facial Action Unit Detection

要約

フェイシャル アクション ユニット (AU) の検出は、顔の表情によって表現される感情を識別するのに役立つため、感情コンピューティングおよびソーシャル ロボット工学において重要なタスクです。
解剖学的には、AU 間には無数の相関関係があり、これには豊富な情報が含まれており、AU の検出に不可欠です。
これまでの手法では、専門家の経験や特定のベンチマークに関する統計ルールに基づいた固定の AU 相関関係が使用されていましたが、手作りの設定を介して AU 間の複雑な相関関係を包括的に反映することは困難でした。
これらの依存関係を徹底的に学習するために、完全に接続されたグラフを使用する代替方法があります。
ただし、これらのアプローチでは、計算量が急増し、大規模なデータセットとの依存性が高くなる可能性があります。
これらの課題に対処するために、この論文では、AU 検出のための計算量が少ない新しい自己調整 AU 相関学習 (SACL) 方法を提案します。
この方法は、ネットワークのさまざまな段階で抽出されたさまざまなレベルの AU の動きと感情表現の情報の特性を効率的に活用することで、AU 相関グラフを適応的に学習および更新します。
さらに、この論文では、相関情報抽出におけるマルチスケール学習の役割を調査し、AU 検出のパフォーマンス向上を促進するシンプルかつ効果的なマルチスケール特徴学習 (MSFL) 方法を設計します。
AU 相関情報をマルチスケール特徴と統合することにより、提案された方法は、最終的な AU 検出のためのより堅牢な特徴表現を取得します。
広範な実験の結果、提案された方法は、広く使用されている AU 検出ベンチマーク データセットで最先端の方法よりも優れており、最良の方法のパラメータと FLOP はそれぞれ 28.7% と 12.0% のみであることが示されています。
このメソッドのコードは \url{https://github.com/linuxsino/Self-adjusting-AU} で入手できます。

要約(オリジナル)

Facial Action Unit (AU) detection is a crucial task in affective computing and social robotics as it helps to identify emotions expressed through facial expressions. Anatomically, there are innumerable correlations between AUs, which contain rich information and are vital for AU detection. Previous methods used fixed AU correlations based on expert experience or statistical rules on specific benchmarks, but it is challenging to comprehensively reflect complex correlations between AUs via hand-crafted settings. There are alternative methods that employ a fully connected graph to learn these dependencies exhaustively. However, these approaches can result in a computational explosion and high dependency with a large dataset. To address these challenges, this paper proposes a novel self-adjusting AU-correlation learning (SACL) method with less computation for AU detection. This method adaptively learns and updates AU correlation graphs by efficiently leveraging the characteristics of different levels of AU motion and emotion representation information extracted in different stages of the network. Moreover, this paper explores the role of multi-scale learning in correlation information extraction, and design a simple yet effective multi-scale feature learning (MSFL) method to promote better performance in AU detection. By integrating AU correlation information with multi-scale features, the proposed method obtains a more robust feature representation for the final AU detection. Extensive experiments show that the proposed method outperforms the state-of-the-art methods on widely used AU detection benchmark datasets, with only 28.7\% and 12.0\% of the parameters and FLOPs of the best method, respectively. The code for this method is available at \url{https://github.com/linuxsino/Self-adjusting-AU}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google