Deep Learning for Micro-expression Recognition: A Survey

要約

マイクロ エクスプレッション (ME) は、危険な状況で人々の隠された感情を明らかにする無意識の顔の動きであり、医療、国家安全保障、尋問、および多くの人間とコンピューターの対話システムで実際に重要です。
主に従来の外観と形状の特徴に基づく MER の初期の方法。
最近、さまざまな分野での深層学習 (DL) の成功に伴い、ニューラル ネットワークは MER への関心が高まっています。
マクロ表現とは異なり、ME は自発的で微妙な素早い顔の動きであり、データ収集が困難であり、小規模なデータセットを持っています。
上記の ME キャラクターにより、DL ベースの MER は難しくなります。
これまで、ME の問題を解決し、MER のパフォーマンスを向上させるために、さまざまな DL アプローチが提案されてきました。
この調査では、データセット、ディープ MER パイプライン、および最も影響力のある方法のベンチマークを含む、ディープ マイクロ表現認識 (MER) の包括的なレビューを提供します。
この調査は、DL に基づく MER のすべての側面を網羅する、フィールドの新しい分類法を定義します。
各側面について、基本的なアプローチと高度な開発が要約され、説明されています。
さらに、堅牢なディープ MER システムの設計のための残りの課題と潜在的な方向性をまとめます。
私たちの知る限りでは、これはディープ MER 法の最初の調査であり、この調査は将来の MER 研究の基準点として役立つ可能性があります。

要約(オリジナル)

Micro-expressions (MEs) are involuntary facial movements revealing people’s hidden feelings in high-stake situations and have practical importance in medical treatment, national security, interrogations and many human-computer interaction systems. Early methods for MER mainly based on traditional appearance and geometry features. Recently, with the success of deep learning (DL) in various fields, neural networks have received increasing interests in MER. Different from macro-expressions, MEs are spontaneous, subtle, and rapid facial movements, leading to difficult data collection, thus have small-scale datasets. DL based MER becomes challenging due to above ME characters. To date, various DL approaches have been proposed to solve the ME issues and improve MER performance. In this survey, we provide a comprehensive review of deep micro-expression recognition (MER), including datasets, deep MER pipeline, and the bench-marking of most influential methods. This survey defines a new taxonomy for the field, encompassing all aspects of MER based on DL. For each aspect, the basic approaches and advanced developments are summarized and discussed. In addition, we conclude the remaining challenges and and potential directions for the design of robust deep MER systems. To the best of our knowledge, this is the first survey of deep MER methods, and this survey can serve as a reference point for future MER research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google