Unlocking the Emotional World of Visual Media: An Overview of the Science, Research, and Impact of Understanding Emotion

要約

人工感情知能テクノロジーの出現はコンピューターとロボット工学の分野に革命をもたらし、かつては不可能と考えられていた新しいレベルのコミュニケーションと人間の行動の理解を可能にします。
最近の深層学習の進歩によりコンピューター ビジョンの分野は変化しましたが、視覚メディアで誘発または表現された感情の自動理解はまだ初期段階にあります。
この破綻は、普遍的に受け入れられている「感情」の定義の欠如と、感情の本質的に主観的な性質とその複雑なニュアンスに起因しています。
この記事では、心理学、工学、芸術からの洞察を活用して、視覚メディアにおける感情分析の分野について学際的な包括的な概要を提供します。
私たちは、感情の心理的基礎と、画像やビデオからの感情の理解を支える計算原理を探ることから始めます。
次に、この分野の最新の研究とシステムをレビューし、最も有望なアプローチに焦点を当てます。
また、感情分析の現在の技術的課題と限界についても議論し、継続的な調査と革新の必要性を強調します。
私たちは、これがコンピューティングにおける「聖杯」の研究問題を表しており、将来の研究の極めて重要な方向性を描いていると主張します。
最後に、感情理解テクノロジーの倫理的影響を検証し、その潜在的な社会的影響について考察します。
全体として、この記事は読者に視覚メディアにおける感情分析の領域をより深く理解してもらい、この魅力的で急速に進化する分野におけるさらなる研究開発を促すことを目的としています。

要約(オリジナル)

The emergence of artificial emotional intelligence technology is revolutionizing the fields of computers and robotics, allowing for a new level of communication and understanding of human behavior that was once thought impossible. While recent advancements in deep learning have transformed the field of computer vision, automated understanding of evoked or expressed emotions in visual media remains in its infancy. This foundering stems from the absence of a universally accepted definition of ‘emotion’, coupled with the inherently subjective nature of emotions and their intricate nuances. In this article, we provide a comprehensive, multidisciplinary overview of the field of emotion analysis in visual media, drawing on insights from psychology, engineering, and the arts. We begin by exploring the psychological foundations of emotion and the computational principles that underpin the understanding of emotions from images and videos. We then review the latest research and systems within the field, accentuating the most promising approaches. We also discuss the current technological challenges and limitations of emotion analysis, underscoring the necessity for continued investigation and innovation. We contend that this represents a ‘Holy Grail’ research problem in computing and delineate pivotal directions for future inquiry. Finally, we examine the ethical ramifications of emotion-understanding technologies and contemplate their potential societal impacts. Overall, this article endeavors to equip readers with a deeper understanding of the domain of emotion analysis in visual media and to inspire further research and development in this captivating and rapidly evolving field.

arxiv情報

著者 James Z. Wang,Sicheng Zhao,Chenyan Wu,Reginald B. Adams,Michelle G. Newman,Tal Shafir,Rachelle Tsachor
発行日 2023-07-25 12:47:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV パーマリンク