Multi-scale Dynamic and Hierarchical Relationship Modeling for Facial Action Units Recognition

要約

人間の顔の動作単位 (AU) は、空間領域と時間領域の両方で相互に関連付けられているだけでなく、同じ/近い顔領域に位置する AU は、異なる顔領域の AU よりも強い関係を示すため、階層的に相互に関連しています。
。
既存のアプローチはいずれも AU 間のこのような階層的な相互依存関係を完全にモデル化するものではありませんが、この論文では、マルチスケール AU 関連の AU 間の動的かつ階層的な時空間関係を、出現認識のために包括的にモデル化することを提案します。
具体的には、最初に、異なる空間スケールでフレーム全体の顔のダイナミクスを明示的にキャプチャするための適応重み付けブロックを備えた新しいマルチスケール時間差分ネットワークを提案します。これは、特に異なるAUの活性化における範囲と大きさの不均一性を考慮しています。
次に、空間分布に基づいて AU 間の関係を階層的にモデル化する 2 段階の戦略が導入されます (つまり、ローカルおよび地域間の AU 関係モデリング)。
BP4D と DISFA で達成された実験結果は、私たちのアプローチが AU 出現認識の分野における新しい最先端であることを示しています。
私たちのコードは https://github.com/CVI-SZU/MDHR で公開されています。

要約(オリジナル)

Human facial action units (AUs) are mutually related in a hierarchical manner, as not only they are associated with each other in both spatial and temporal domains but also AUs located in the same/close facial regions show stronger relationships than those of different facial regions. While none of existing approach thoroughly model such hierarchical inter-dependencies among AUs, this paper proposes to comprehensively model multi-scale AU-related dynamic and hierarchical spatio-temporal relationship among AUs for their occurrences recognition. Specifically, we first propose a novel multi-scale temporal differencing network with an adaptive weighting block to explicitly capture facial dynamics across frames at different spatial scales, which specifically considers the heterogeneity of range and magnitude in different AUs’ activation. Then, a two-stage strategy is introduced to hierarchically model the relationship among AUs based on their spatial distribution (i.e., local and cross-region AU relationship modelling). Experimental results achieved on BP4D and DISFA show that our approach is the new state-of-the-art in the field of AU occurrence recognition. Our code is publicly available at https://github.com/CVI-SZU/MDHR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google