Emotion Embeddings $\unicode{x2014}$ Learning Stable and Homogeneous Abstractions from Heterogeneous Affective Datasets

要約

人間の感情は多くのコミュニケーション様式やメディア形式で表現されるため、計算による研究は自然言語処理、オーディオ信号分析、コンピュータービジョンなどに同様に多様化しています。同様に、感情を記述するために以前の研究で使用されていた多種多様な表現形式（極性）
尺度、基本的な感情カテゴリ、次元的アプローチ、評価理論など）により、感情分析のためのデータセット、予測モデル、ソフトウェア ツールの多様性はますます増大しています。
これら 2 つの異なるタイプの異質性のため、表現レベルと表現レベルで、ますます多様化するデータとラベルの種類に関する以前の作業を統合することが急務となっています。
この記事では、そのような統一的な計算モデルを紹介します。
私たちは、さまざまな自然言語、コミュニケーション様式、メディアや表現ラベルの形式、さらには異種のモデルアーキテクチャに依存せずに、感情の共有潜在表現、いわゆる感情埋め込みを学習するトレーニング手順を提案します。
広範囲の異種感情データセットに関する実験では、このアプローチが、予測品質を損なうことなく、再利用性、解釈可能性、柔軟性のために望ましい相互運用性をもたらすことが示されています。
コードとデータは https://doi.org/10.5281/zenodo.7405327 にアーカイブされています。

要約(オリジナル)

Human emotion is expressed in many communication modalities and media formats and so their computational study is equally diversified into natural language processing, audio signal analysis, computer vision, etc. Similarly, the large variety of representation formats used in previous research to describe emotions (polarity scales, basic emotion categories, dimensional approaches, appraisal theory, etc.) have led to an ever proliferating diversity of datasets, predictive models, and software tools for emotion analysis. Because of these two distinct types of heterogeneity, at the expressional and representational level, there is a dire need to unify previous work on increasingly diverging data and label types. This article presents such a unifying computational model. We propose a training procedure that learns a shared latent representation for emotions, so-called emotion embeddings, independent of different natural languages, communication modalities, media or representation label formats, and even disparate model architectures. Experiments on a wide range of heterogeneous affective datasets indicate that this approach yields the desired interoperability for the sake of reusability, interpretability and flexibility, without penalizing prediction quality. Code and data are archived under https://doi.org/10.5281/zenodo.7405327 .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google