Cross-Language Speech Emotion Recognition Using Multimodal Dual Attention Transformers

要約

音声感情認識 (SER) は最近進歩しているにもかかわらず、最先端のシステムは言語をまたいだ設定でパフォーマンスの向上を達成できません。
この論文では、言語間 SER を改善するためのマルチモーダル デュアル アテンション トランスフォーマー (MDAT) モデルを提案します。
私たちのモデルは、マルチモーダル特徴抽出用の事前トレーニング済みモデルを利用しており、グラフ アテンションと同時アテンションを含むデュアル アテンション メカニズムを備えており、さまざまなモダリティにわたる複雑な依存関係をキャプチャし、最小限のターゲット言語データを使用して改善された言語間 SER 結果を実現します。
さらに、私たちのモデルは、感情分類の精度を向上させるために、高レベルの特徴表現のためにトランスエンコーダー層も活用しています。
このように、MDAT はさまざまな段階で特徴表現の改良を実行し、感情的な顕著な特徴を分類層に提供します。
この新しいアプローチは、モダリティを超えた相互作用や言語を超えた相互作用を強化しながら、モダリティ固有の感情情報の保存も保証します。
私たちは、公開されている 4 つの SER データセットでモデルのパフォーマンスを評価し、最近のアプローチやベースライン モデルと比較してその優れた有効性を確立しました。

要約(オリジナル)

Despite the recent progress in speech emotion recognition (SER), state-of-the-art systems are unable to achieve improved performance in cross-language settings. In this paper, we propose a Multimodal Dual Attention Transformer (MDAT) model to improve cross-language SER. Our model utilises pre-trained models for multimodal feature extraction and is equipped with a dual attention mechanism including graph attention and co-attention to capture complex dependencies across different modalities and achieve improved cross-language SER results using minimal target language data. In addition, our model also exploits a transformer encoder layer for high-level feature representation to improve emotion classification accuracy. In this way, MDAT performs refinement of feature representation at various stages and provides emotional salient features to the classification layer. This novel approach also ensures the preservation of modality-specific emotional information while enhancing cross-modality and cross-language interactions. We assess our model’s performance on four publicly available SER datasets and establish its superior effectiveness compared to recent approaches and baseline models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google