Micron-BERT: BERT-based Facial Micro-Expression Recognition

要約

タイトル：Micron-BERT：BERTベースの顔の微細表情認識

要約：

– 顔の微細表情認識は、感情計算における最も難しいトピックの1つである。
– Micron-BERT（$\mu$-BERT）は、顔の微細表情を認識するための新しいアプローチであり、提案された方法は、2つの主要なアイデアに基づいて非監督学習でこれらの動きを自動的に捕捉することができる。
– この研究においては、Diagonal Micro-Attention（DMA）を使用して2つのフレーム間の微小な違いを検出し、Patch of Interest（PoI）モジュールを導入して興味のある領域をローカライズし、同時にノイズの多い背景と干渉を減らす方法を提案する。
– 結果として、提案された$\mu$-BERTは、各種の微細表情認識のタスクで、従来のすべての作業を大幅に上回る性能を実現し、4種類のマイクロ表情ベンチマーク（SAMM、CASME II、SMIC、CASME3）で、最新の状態を常に上回る結果を示している。
– これまでに見られなかった顔の微細表情のデータセットで高い精度を達成し、大規模な未ラベルのデータセットで訓練できるように設計されている。

要約(オリジナル)

Micro-expression recognition is one of the most challenging topics in affective computing. It aims to recognize tiny facial movements difficult for humans to perceive in a brief period, i.e., 0.25 to 0.5 seconds. Recent advances in pre-training deep Bidirectional Transformers (BERT) have significantly improved self-supervised learning tasks in computer vision. However, the standard BERT in vision problems is designed to learn only from full images or videos, and the architecture cannot accurately detect details of facial micro-expressions. This paper presents Micron-BERT ($\mu$-BERT), a novel approach to facial micro-expression recognition. The proposed method can automatically capture these movements in an unsupervised manner based on two key ideas. First, we employ Diagonal Micro-Attention (DMA) to detect tiny differences between two frames. Second, we introduce a new Patch of Interest (PoI) module to localize and highlight micro-expression interest regions and simultaneously reduce noisy backgrounds and distractions. By incorporating these components into an end-to-end deep network, the proposed $\mu$-BERT significantly outperforms all previous work in various micro-expression tasks. $\mu$-BERT can be trained on a large-scale unlabeled dataset, i.e., up to 8 million images, and achieves high accuracy on new unseen facial micro-expression datasets. Empirical experiments show $\mu$-BERT consistently outperforms state-of-the-art performance on four micro-expression benchmarks, including SAMM, CASME II, SMIC, and CASME3, by significant margins. Code will be available at \url{https://github.com/uark-cviu/Micron-BERT}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI