Feature Representation Learning with Adaptive Displacement Generation and Transformer Fusion for Micro-Expression Recognition

要約

【タイトル】アダプティブ変位生成とトランスフォーマー融合によるマイクロ表情認識のための特徴表現学習
【要約】
– マイクロ表情とは、偽造や抑制ができない素早く微妙な顔の動きであり、非言語コミュニケーションの手がかりになるが、短時間であり低強度であるため、認識が困難である。
– 近年、ディープラーニングに基づく手法が開発され、マイクロ表情認識に機能抽出と融合技術が用いられているが、マイクロ表情の特徴に応じた機能学習と効率的な特徴融合は未だ研究が必要である。
– この問題に対応するため、提案されたフレームワーク FRL-DGT は、Auto-encoder を用いた自己教師付き学習を行う畳み込み版変位生成モジュール (DGM) によって、特徴抽出する事が可能である。3つのトランスフォーマーベースの融合モジュール（AU領域に基づいたローカル、グローバル融合とフルフェイス融合）から構成された、設計されたトランスフォーマー融合メカニズムがDGMの後に適用され、最終的なマイクロ表情の予測のための多レベル情報を抽出する。
– 確固たる1人に対する外れ値検出による典型的なLOSO評価の実験結果により、提案された FRL-DGT が従来の手法に比べて優れている事が示された。

要約(オリジナル)

Micro-expressions are spontaneous, rapid and subtle facial movements that can neither be forged nor suppressed. They are very important nonverbal communication clues, but are transient and of low intensity thus difficult to recognize. Recently deep learning based methods have been developed for micro-expression (ME) recognition using feature extraction and fusion techniques, however, targeted feature learning and efficient feature fusion still lack further study according to the ME characteristics. To address these issues, we propose a novel framework Feature Representation Learning with adaptive Displacement Generation and Transformer fusion (FRL-DGT), in which a convolutional Displacement Generation Module (DGM) with self-supervised learning is used to extract dynamic features from onset/apex frames targeted to the subsequent ME recognition task, and a well-designed Transformer Fusion mechanism composed of three Transformer-based fusion modules (local, global fusions based on AU regions and full-face fusion) is applied to extract the multi-level informative features after DGM for the final ME prediction. The extensive experiments with solid leave-one-subject-out (LOSO) evaluation results have demonstrated the superiority of our proposed FRL-DGT to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI