Geometric Graph Representation with Learnable Graph Structure and Adaptive AU Constraint for Micro-Expression Recognition

要約

微表情認識（MER）は、微表情（ME）が本物の感情を明らかにすることができるため、価値がある。多くの研究は、画像シーケンスを入力とし、MEに関連する微妙な動作が無関係な情報に埋没しやすいため、ME情報を効果的に探索することができません。その代わりに、顔面ランドマークは低次元でコンパクトなモダリティであるため、計算コストが低く、MEに関連する動きの特徴に集中できる可能性があります。しかし、MERに対する顔面ランドマークの識別可能性は不明である。そこで、本論文では、顔面ランドマークの寄与を探索し、MEを効率的に認識するための新しい枠組みを提案する。第一に、幾何学的な2ストリームグラフネットワークを構築し、顔面ランドマークから得られる低次および高次の幾何学的な動き情報を集約して、識別可能なME表現を得る。次に、自己学習方式を導入し、遠距離にあるノードでもノード間の動的な関係を自動的にモデル化する。さらに、ランドマーク、顔面アクションユニット、MEの間の強い相関を合理的に構築するために、適応的なアクションユニット損失を提案する。特に、本研究では、グラフベースの幾何学的特徴を利用するだけで、MERを促進するための、より高い効率を持つ新しいアイデアを提供しています。実験結果は、提案手法が大幅に削減された計算コストで競争力のある性能を達成することを実証している。さらに、顔面ランドマークはMERに大きく寄与しており、高効率なME解析のためにさらに研究する価値がある。

要約(オリジナル)

Micro-expression recognition (MER) is valuable because micro-expressions (MEs) can reveal genuine emotions. Most works take image sequences as input and cannot effectively explore ME information because subtle ME-related motions are easily submerged in unrelated information. Instead, the facial landmark is a low-dimensional and compact modality, which achieves lower computational cost and potentially concentrates on ME-related movement features. However, the discriminability of facial landmarks for MER is unclear. Thus, this paper explores the contribution of facial landmarks and proposes a novel framework to efficiently recognize MEs. Firstly, a geometric two-stream graph network is constructed to aggregate the low-order and high-order geometric movement information from facial landmarks to obtain discriminative ME representation. Secondly, a self-learning fashion is introduced to automatically model the dynamic relationship between nodes even long-distance nodes. Furthermore, an adaptive action unit loss is proposed to reasonably build the strong correlation between landmarks, facial action units and MEs. Notably, this work provides a novel idea with much higher efficiency to promote MER, only utilizing graph-based geometric features. The experimental results demonstrate that the proposed method achieves competitive performance with a significantly reduced computational cost. Furthermore, facial landmarks significantly contribute to MER and are worth further study for high-efficient ME analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL