MMNet: Muscle motion-guided network for micro-expression recognition

要約

顔の微表情 (ME) は、人々の本当の気持ちを明らかにする無意識の顔の動きであり、精神疾患、国家安全保障、および多くの人間とコンピューターの相互作用システムの早期介入において重要な役割を果たします。
ただし、既存のマイクロ表現データセットは限られており、通常、適切な分類器をトレーニングするためにいくつかの課題があります。
微妙な顔の筋肉の動きをモデル化するために、堅牢な微表情認識 (MER) フレームワーク、すなわち筋肉運動誘導ネットワーク (MMNet) を提案します。
具体的には、継続的注意 (CA) ブロックを導入して、アイデンティティ情報がほとんどないローカルの微妙な筋肉の動きパターンのモデル化に焦点を当てています。これは、アイデンティティ情報が多い完全なビデオ フレームから特徴を直接抽出する以前のほとんどの方法とは異なります。
さらに、ビジョン トランスフォーマーに基づく位置キャリブレーション (PC) モジュールを設計します。
2 つのブランチの最後に PC モジュールによって生成された顔の位置埋め込みを追加することにより、PC モジュールは、MER の顔面筋肉の動きパターンの特徴に位置情報を追加するのに役立ちます。
3 つの公開マイクロ発現データセットに対する広範な実験により、私たちのアプローチが最先端の方法よりも大幅に優れていることが示されました。

要約(オリジナル)

Facial micro-expressions (MEs) are involuntary facial motions revealing peoples real feelings and play an important role in the early intervention of mental illness, the national security, and many human-computer interaction systems. However, existing micro-expression datasets are limited and usually pose some challenges for training good classifiers. To model the subtle facial muscle motions, we propose a robust micro-expression recognition (MER) framework, namely muscle motion-guided network (MMNet). Specifically, a continuous attention (CA) block is introduced to focus on modeling local subtle muscle motion patterns with little identity information, which is different from most previous methods that directly extract features from complete video frames with much identity information. Besides, we design a position calibration (PC) module based on the vision transformer. By adding the position embeddings of the face generated by PC module at the end of the two branches, the PC module can help to add position information to facial muscle motion pattern features for the MER. Extensive experiments on three public micro-expression datasets demonstrate that our approach outperforms state-of-the-art methods by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google