要約
心理的ストレス反応として最も重要なものの一つである微表情(ME)は、自発的かつ一時的な表情であり、人間の真の感情を明らかにすることができます。このため、MEを自動的に認識することは、感情コンピューティングの分野においてますます重要となってきており、嘘発見や心理分析などにおいて不可欠な技術支援となっています。しかし、豊富なMEデータがないため、データ駆動型のMERモデルの開発には大きな制約がある。最近、この問題を軽減するためにいくつかの自発的なMEデータセットの取り組みが行われているが、それでもまだ微々たるものである。このデータセットには、671人の参加者によって誘導され、20人以上のアノテーターによって3年間にわたりアノテーションされた7,526のよくラベル付けされたME動画が含まれている。その後、4つの古典的な時空間特徴学習モデルをDFMEに採用し、MER実験を行い、DFMEデータセットの有効性を客観的に検証する。さらに、動的MERにおけるクラスインバランスとキーフレームサンプリング問題に対する様々な解決策をDFME上でそれぞれ検討し、今後の研究への貴重な参考資料とする。実験結果は、我々のDFMEデータセットが自動MERの研究を促進し、MERの新しいベンチマークを提供することができることを示しています。DFME は https://mea-lab-421.github.io で公開される予定です。
要約(オリジナル)
As one of the most important psychic stress reactions, micro-expressions (MEs), are spontaneous and transient facial expressions that can reveal the genuine emotions of human beings. Thus, recognizing MEs (MER) automatically is becoming increasingly crucial in the field of affective computing, and provides essential technical support in lie detection, psychological analysis and other areas. However, the lack of abundant ME data seriously restricts the development of cutting-edge data-driven MER models. Despite the recent efforts of several spontaneous ME datasets to alleviate this problem, it is still a tiny amount of work. To solve the problem of ME data hunger, we construct a dynamic spontaneous ME dataset with the largest current ME data scale, called DFME (Dynamic Facial Micro-expressions), which includes 7,526 well-labeled ME videos induced by 671 participants and annotated by more than 20 annotators throughout three years. Afterwards, we adopt four classical spatiotemporal feature learning models on DFME to perform MER experiments to objectively verify the validity of DFME dataset. In addition, we explore different solutions to the class imbalance and key-frame sequence sampling problems in dynamic MER respectively on DFME, so as to provide a valuable reference for future research. The comprehensive experimental results show that our DFME dataset can facilitate the research of automatic MER, and provide a new benchmark for MER. DFME will be published via https://mea-lab-421.github.io.
arxiv情報
| 著者 | Sirui Zhao,Huaying Tang,Xinglong Mao,Shifeng Liu,Hanqing Tao,Hao Wang,Tong Xu,Enhong Chen |
| 発行日 | 2023-01-03 07:33:33+00:00 |
| arxivサイト | arxiv_id(pdf) |