A Hierarchical Regression Chain Framework for Affective Vocal Burst Recognition

要約

非言語発声による感情シグナリングの一般的な方法として、ボーカル バースト (VB) は、日常の社会的相互作用において重要な役割を果たします。
人間の発声バーストを理解してモデル化することは、堅牢で一般的な人工知能を開発するために不可欠です。
ボーカル バーストを理解するための計算手法の調査は、ますます研究の注目を集めています。
この作業では、チェーン回帰モデルに基づいて、複数の関係を明示的に考慮する VB からの感情認識のための階層的フレームワークを提案します。(i) 感情状態と多様な文化の間。
(ii) 低次元 (覚醒と価) と高次元 (10 感情クラス) の感情空間の間。
（iii）高次元空間内のさまざまな感情クラス間。
データのスパース性の課題に対処するために、レイヤー単位および時間的集計モジュールを備えた自己教師あり学習 (SSL) 表現も使用します。
提案されたシステムは、ACII Affective Vocal Burst (A-VB) Challenge 2022 に参加し、「TWO」および「CULTURE」タスクで 1 位にランクされました。
ACII チャレンジ 2022 データセットに基づく実験結果は、提案されたシステムの優れたパフォーマンスと、階層回帰チェーン モデルを使用して複数の関係を考慮することの有効性を示しています。

要約(オリジナル)

As a common way of emotion signaling via non-linguistic vocalizations, vocal burst (VB) plays an important role in daily social interaction. Understanding and modeling human vocal bursts are indispensable for developing robust and general artificial intelligence. Exploring computational approaches for understanding vocal bursts is attracting increasing research attention. In this work, we propose a hierarchical framework, based on chain regression models, for affective recognition from VBs, that explicitly considers multiple relationships: (i) between emotional states and diverse cultures; (ii) between low-dimensional (arousal & valence) and high-dimensional (10 emotion classes) emotion spaces; and (iii) between various emotion classes within the high-dimensional space. To address the challenge of data sparsity, we also use self-supervised learning (SSL) representations with layer-wise and temporal aggregation modules. The proposed systems participated in the ACII Affective Vocal Burst (A-VB) Challenge 2022 and ranked first in the ‘TWO” and ‘CULTURE” tasks. Experimental results based on the ACII Challenge 2022 dataset demonstrate the superior performance of the proposed system and the effectiveness of considering multiple relationships using hierarchical regression chain models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google