Interpretable Explainability in Facial Emotion Recognition and Gamification for Data Collection

要約

顔感情認識モデルの学習には、大量のデータセットとコストのかかるアノテーション処理が必要です。この問題を軽減するため、我々は、人間が明示的にラベリング作業を行うことなく、アノテーションされた顔感情データを取得するゲーミング手法を開発した。このゲームでは、プレイヤーは表示された顔画像から特定の基本的な感情を模倣することが求められます。このゲームでは、プレイヤーはラウンドごとに、顔の特徴とランドマークのセットからなる新しいデータを作成し、ターゲットとなる顔の表情の感情ラベルが既にアノテーションされています。このようなアプローチにより、ロバストで持続的、かつ継続的な機械学習の学習プロセスを効果的に構築することができる。我々は、Facegameを実験によって評価し、感情コンピューティングの分野へのいくつかの貢献を明らかにした。まず、ゲーム化されたデータ収集アプローチにより、プレイヤーの表情や表現力の自然なバリエーションにより、各基本感情の豊富な表情にアクセスすることができました。また、収集したデータを用いて、よく知られた実環境の顔感情データセットをリッチ化し、連続して顔感情認識モデルの学習に使用したところ、精度が向上したことを報告します。第二に、Facegameで用いられている自然言語処方法は、あらゆる顔感情認識モデルに適用可能な、解釈可能な説明のための新しいアプローチである。最後に、ゲームを繰り返しプレイすることで、プレイヤーの顔感情知覚・表現スキルの著しい向上が確認されました。

要約(オリジナル)

Training facial emotion recognition models requires large sets of data and costly annotation processes. To alleviate this problem, we developed a gamified method of acquiring annotated facial emotion data without an explicit labeling effort by humans. The game, which we named Facegame, challenges the players to imitate a displayed image of a face that portrays a particular basic emotion. Every round played by the player creates new data that consists of a set of facial features and landmarks, already annotated with the emotion label of the target facial expression. Such an approach effectively creates a robust, sustainable, and continuous machine learning training process. We evaluated Facegame with an experiment that revealed several contributions to the field of affective computing. First, the gamified data collection approach allowed us to access a rich variation of facial expressions of each basic emotion due to the natural variations in the players’ facial expressions and their expressive abilities. We report improved accuracy when the collected data were used to enrich well-known in-the-wild facial emotion datasets and consecutively used for training facial emotion recognition models. Second, the natural language prescription method used by the Facegame constitutes a novel approach for interpretable explainability that can be applied to any facial emotion recognition model. Finally, we observed significant improvements in the facial emotion perception and expression skills of the players through repeated game play.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL