How to Synthesize a Large-Scale and Trainable Micro-Expression Dataset?

要約

このペーパーには技術的な目新しさは含まれていませんが、データ生成プロトコル、データベース、および洞察における重要な発見を紹介します。データ収集の法外なコストによるマイクロエクスプレッション（MiE）認識における大規模なデータセットの不足に対処することを目指しています。
、これは大規模なトレーニングを実行不可能にします。
この目的のために、大規模なMiEトレーニングデータを自動的に合成するプロトコルを開発します。これにより、実際のテストデータの改善された認識モデルをトレーニングできます。
具体的には、訓練可能なMiEを構成できる3種類のアクションユニット（AU）を発見しました。
これらのAUは、実際のMiE、マクロ表現ビデオの初期フレーム、およびAUと人間の専門知識によって定義された表現カテゴリとの関係に由来します。
これらのAUを使用して、プロトコルはさまざまなIDの多数の顔画像と、MiE合成用の既製の顔ジェネレーターを使用してMiE-Xデータセットを生成します。
MiE認識モデルは、MiE-Xでトレーニングまたは事前トレーニングされ、非常に競争力のある精度が得られる実際のテストセットで評価されます。
実験結果は、発見されたAUとMiE-Xデータセットの有効性を検証するだけでなく、MiEのいくつかの興味深い特性を明らかにします。それらは面全体に一般化され、初期段階のマクロ式に近く、手動で定義できます。

要約(オリジナル)

This paper does not contain technical novelty but introduces our key discoveries in a data generation protocol, a database and insights.We aim to address the lack of large-scale datasets in micro-expression (MiE) recognition due to the prohibitive cost of data collection, which renders large-scale training less feasible. To this end, we develop a protocol to automatically synthesize large scale MiE training data that allow us to train improved recognition models for real-world test data. Specifically, we discover three types of Action Units (AUs) that can constitute trainable MiEs. These AUs come from real-world MiEs, early frames of macro-expression videos, and the relationship between AUs and expression categories defined by human expert knowledge. With these AUs, our protocol then employs large numbers of face images of various identities and an off-the-shelf face generator for MiE synthesis, yielding the MiE-X dataset. MiE recognition models are trained or pre-trained on MiE-X and evaluated on real-world test sets, where very competitive accuracy is obtained. Experimental results not only validate the effectiveness of the discovered AUs and MiE-X dataset but also reveal some interesting properties of MiEs: they generalize across faces, are close to early-stage macro-expressions, and can be manually defined.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google