Learning Multi-dimensional Edge Feature-based AU Relation Graph for Facial Action Unit Recognition

要約

フェイシャル アクション ユニット (AU) のアクティベーションは相互に影響を及ぼします。
AU のペア間の関係は複雑でユニークなものになる可能性がありますが、既存のアプローチでは、各顔の表示で AU の各ペアのそのような手がかりを具体的かつ明示的に表すことができません。
この論文では、ターゲットの顔面ディスプレイの AU の各ペア間の関係を明示的に記述するために、一意のグラフをディープラーニングする AU 関係モデリング アプローチを提案します。
私たちのアプローチは、最初に各 AU のアクティブ化ステータスと他の AU との関連付けをノード機能にエンコードします。
次に、多次元エッジ機能のペアを学習して、AU の各ペア間の複数のタスク固有の関係キューを記述します。
ノードとエッジの両方の機能の学習中に、私たちのアプローチは、顔全体の表現を入力として取得することにより、AU の関係に対するユニークな顔の表示の影響も考慮します。
BP4D および DISFA データセットの実験結果は、ノードとエッジの両方の機能学習モジュールが CNN およびトランスフォーマー ベースのバックボーンのパフォーマンスを大幅に改善し、最高のシステムが最先端の AU 認識結果を達成することを示しています。
私たちのアプローチは、AU認識のための関係の手がかりをモデル化する強力な機能を備えているだけでなく、さまざまなバックボーンに簡単に組み込むこともできます。
PyTorch コードが利用可能になります。

要約(オリジナル)

The activations of Facial Action Units (AUs) mutually influence one another. While the relationship between a pair of AUs can be complex and unique, existing approaches fail to specifically and explicitly represent such cues for each pair of AUs in each facial display. This paper proposes an AU relationship modelling approach that deep learns a unique graph to explicitly describe the relationship between each pair of AUs of the target facial display. Our approach first encodes each AU’s activation status and its association with other AUs into a node feature. Then, it learns a pair of multi-dimensional edge features to describe multiple task-specific relationship cues between each pair of AUs. During both node and edge feature learning, our approach also considers the influence of the unique facial display on AUs’ relationship by taking the full face representation as an input. Experimental results on BP4D and DISFA datasets show that both node and edge feature learning modules provide large performance improvements for CNN and transformer-based backbones, with our best systems achieving the state-of-the-art AU recognition results. Our approach not only has a strong capability in modelling relationship cues for AU recognition but also can be easily incorporated into various backbones. Our PyTorch code is made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google