Multi-Branch Network for Imagery Emotion Prediction

要約

長い間、画像は豊かな意味論、特に人間の感情を保存し伝達するのに完璧であることが証明されてきました。
人の写真の中の感情を認識する機能を機械に提供するために、多くの研究が行われてきました。
これまでの手法は主に顔の表情に焦点を当てていましたが、シーンのコンテキストは考慮されていませんでした。一方、シーンのコンテキストは感情を予測する上で重要な役割を果たし、より正確な結果につながりました。
さらに、Valence-Arousal-Dominance (VAD) 値は、連続的な感情をより正確に定量的に理解するのに役立ちますが、離散的な感情のカテゴリに比べて、感情の予測にはそれほど重点が置かれていませんでした。
この論文では、顔、体、シーンのコンテキストなどのさまざまなソース情報を利用して、画像内の離散的および連続的な感情の両方を予測する新しいマルチブランチ ネットワーク (MBN) を紹介します。
感情と VAD 値の 26 の離散カテゴリでラベル付けされた制約のない状況にある人々の大規模画像を含む EMOTIC データセットの実験結果は、私たちの提案手法が mAP で 28.4%、mAP で 0.93 という最先端の手法を大幅に上回っていることを示しています。
MAEで。
この結果は、感情予測において複数のコンテキスト情報を利用することの重要性を強調し、効果的なコンピューティング、人間とコンピュータのインタラクション、ソーシャルロボティクスなどの幅広いアプリケーションにおける私たちの提案手法の可能性を示しています。
ソースコード: https://github.com/BaoNinh2808/Multi-Branch-Network-for-Imagery-Emotion-Prediction

要約(オリジナル)

For a long time, images have proved perfect at both storing and conveying rich semantics, especially human emotions. A lot of research has been conducted to provide machines with the ability to recognize emotions in photos of people. Previous methods mostly focus on facial expressions but fail to consider the scene context, meanwhile scene context plays an important role in predicting emotions, leading to more accurate results. In addition, Valence-Arousal-Dominance (VAD) values offer a more precise quantitative understanding of continuous emotions, yet there has been less emphasis on predicting them compared to discrete emotional categories. In this paper, we present a novel Multi-Branch Network (MBN), which utilizes various source information, including faces, bodies, and scene contexts to predict both discrete and continuous emotions in an image. Experimental results on EMOTIC dataset, which contains large-scale images of people in unconstrained situations labeled with 26 discrete categories of emotions and VAD values, show that our proposed method significantly outperforms state-of-the-art methods with 28.4% in mAP and 0.93 in MAE. The results highlight the importance of utilizing multiple contextual information in emotion prediction and illustrate the potential of our proposed method in a wide range of applications, such as effective computing, human-computer interaction, and social robotics. Source code: https://github.com/BaoNinh2808/Multi-Branch-Network-for-Imagery-Emotion-Prediction

arxiv情報

提供元, 利用サービス

arxiv.jp, Google