AFFDEX 2.0: A Real-Time Facial Expression Analysis Toolkit

要約

このホワイト ペーパーでは、AFFDEX 2.0 を紹介します。これは、野生の表情を分析するためのツールキットです。
a) 3D ヘッド ポーズの推定、b) 顔のアクション ユニット (AU) の検出、c) 基本的な感情と 2 つの新しい感情状態 (感情と混乱) の認識、d) まばたきや注意などの高レベルの表現指標の検出。
AFFDEX 2.0 モデルは主にディープ ラーニングに基づいており、さまざまな人口統計グループの何千人もの参加者で構成される大規模な自然主義的データセットを使用してトレーニングされています。
AFFDEX 2.0 は、以前のツールキット [1] の拡張バージョンであり、より困難な状況で顔を効率的に追跡し、より正確に顔の表情を検出し、新しい感情状態 (感情と混乱) を認識することができます。
AFFDEX 2.0 は複数の顔をリアルタイムで処理でき、Windows および Linux プラットフォームで動作します。

要約(オリジナル)

In this paper we introduce AFFDEX 2.0 – a toolkit for analyzing facial expressions in the wild, that is, it is intended for users aiming to; a) estimate the 3D head pose, b) detect facial Action Units (AUs), c) recognize basic emotions and 2 new emotional states (sentimentality and confusion), and d) detect high-level expressive metrics like blink and attention. AFFDEX 2.0 models are mainly based on Deep Learning, and are trained using a large-scale naturalistic dataset consisting of thousands of participants from different demographic groups. AFFDEX 2.0 is an enhanced version of our previous toolkit [1], that is capable of tracking efficiently faces at more challenging conditions, detecting more accurately facial expressions, and recognizing new emotional states (sentimentality and confusion). AFFDEX 2.0 can process multiple faces in real time, and is working across the Windows and Linux platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google