Compound Expression Recognition via Multi Model Ensemble for the ABAW7 Challenge

要約

複合表現認識 (CER) は、効果的な対人関係に不可欠です。
人間の感情表現は複合的な表現が存在するため本質的に複雑であり、正確な判断のためには局所的および全体的な顔の手がかりを考慮する必要があります。
このペーパーでは、この複雑さに対処するためのアンサンブル学習ベースのソリューションを提案します。
私たちのアプローチには、畳み込みネットワーク、ビジョン トランスフォーマー、およびマルチスケール ローカル アテンション ネットワークを使用して 3 つの異なる表現分類モデルをトレーニングすることが含まれます。
モデルアンサンブルに遅延融合を採用することで、これらのモデルの出力を組み合わせて最終結果を予測します。
私たちの方法は、RAF-DB データセットで高い精度を示し、ゼロショット学習を通じて C-EXPR-DB の特定の部分の式を認識できます。

要約(オリジナル)

Compound Expression Recognition (CER) is vital for effective interpersonal interactions. Human emotional expressions are inherently complex due to the presence of compound expressions, requiring the consideration of both local and global facial cues for accurate judgment. In this paper, we propose an ensemble learning-based solution to address this complexity. Our approach involves training three distinct expression classification models using convolutional networks, Vision Transformers, and multiscale local attention networks. By employing late fusion for model ensemble, we combine the outputs of these models to predict the final results. Our method demonstrates high accuracy on the RAF-DB datasets and is capable of recognizing expressions in certain portions of the C-EXPR-DB through zero-shot learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google