SKD-TSTSAN: Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition

要約

微表情 (ME) は、人々が本当の感情を隠そうとするときに自然に起こる微妙な顔の動きです。
微表情認識 (MER) は、犯罪分析や心理療法などの多くの分野で重要です。
ただし、ME の強度が低く、ME データセットのサイズが小さいため、MER は困難です。
この目的を達成するために、本論文では自己知識蒸留に基づく3ストリーム時間シフト注意ネットワーク(SKD-TSTSAN)を提案する。
まず、ME 筋の動きの強度が低いことに対処するために、学習ベースの動作拡大モジュールを利用して、ME 筋の動きの強度を高めます。
次に、局所空間ストリームで効率的なチャネル アテンション (ECA) モジュールを採用し、ME との関連性が高い顔領域にネットワークが焦点を当てられるようにします。
さらに、動的時間ストリームでは時間シフト モジュール (TSM) が使用されており、2 つの異なる時間領域からの ME 動き情報を混合することにより、追加パラメーターなしで時間モデリングが可能になります。
さらに、補助分類器を導入し、ネットワークの最も深いセクションを監視に使用することで、MER タスクに自己知識蒸留 (SKD) を導入し、すべてのブロックがトレーニング セットの特徴を完全に探索することを奨励します。
最後に、CASME II、SAMM、MMEW、CAS(ME)3 の 4 つの ME データセットに対して広範な実験が行われます。
実験結果は、当社の SKD-TSTSAN が他の既存の方法を上回り、新たな最先端のパフォーマンスを達成することを示しています。
私たちのコードは https://github.com/GuanghaoZhu663/SKD-TSTSAN で入手できます。

要約(オリジナル)

Micro-expressions (MEs) are subtle facial movements that occur spontaneously when people try to conceal the real emotions. Micro-expression recognition (MER) is crucial in many fields, including criminal analysis and psychotherapy. However, MER is challenging since MEs have low intensity and ME datasets are small in size. To this end, a three-stream temporal-shift attention network based on self-knowledge distillation (SKD-TSTSAN) is proposed in this paper. Firstly, to address the low intensity of ME muscle movements, we utilize learning-based motion magnification modules to enhance the intensity of ME muscle movements. Secondly, we employ efficient channel attention (ECA) modules in the local-spatial stream to make the network focus on facial regions that are highly relevant to MEs. In addition, temporal shift modules (TSMs) are used in the dynamic-temporal stream, which enables temporal modeling with no additional parameters by mixing ME motion information from two different temporal domains. Furthermore, we introduce self-knowledge distillation (SKD) into the MER task by introducing auxiliary classifiers and using the deepest section of the network for supervision, encouraging all blocks to fully explore the features of the training set. Finally, extensive experiments are conducted on four ME datasets: CASME II, SAMM, MMEW, and CAS(ME)3. The experimental results demonstrate that our SKD-TSTSAN outperforms other existing methods and achieves new state-of-the-art performance. Our code will be available at https://github.com/GuanghaoZhu663/SKD-TSTSAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google