Speech Swin-Transformer: Exploring a Hierarchical Transformer with Shifted Windows for Speech Emotion Recognition

要約

Swin-Transformer は、Transformer に基づく階層的な特徴表現を活用することにより、コンピューター ビジョンで目覚ましい成功を収めてきました。
音声信号では、感情情報は、単語、フレーズ、発話など、音声特徴のさまざまなスケールに分散されます。
この論文では、インスピレーションをもとに、Speech Swin-Transformer と呼ばれる、音声感情認識 (SER) 用のマルチスケール感情特徴を集約するためのシフト ウィンドウを備えた階層型音声 Transformer を紹介します。
具体的には、まず音声スペクトログラムを、複数のフレーム パッチで構成される時間領域のセグメント レベルのパッチに分割します。
これらのセグメント レベルのパッチは、Swin ブロックのスタックを使用してエンコードされます。このブロックでは、ローカル ウィンドウのトランスフォーマーを利用して、各セグメント パッチのフレーム パッチ全体にわたるローカルのフレーム間の感情情報が探索されます。
その後、セグメント パッチの境界付近のパッチ相関を補償するシフト ウィンドウ トランスフォーマーも設計します。
最後に、パッチ マージ操作を使用して、Transformer の受容野をフレーム レベルからセグメント レベルに拡張することで、階層的な音声表現のためにセグメント レベルの感情的特徴を集約します。
実験結果は、私たちが提案した Speech Swin-Transformer が最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Swin-Transformer has demonstrated remarkable success in computer vision by leveraging its hierarchical feature representation based on Transformer. In speech signals, emotional information is distributed across different scales of speech features, e.\,g., word, phrase, and utterance. Drawing above inspiration, this paper presents a hierarchical speech Transformer with shifted windows to aggregate multi-scale emotion features for speech emotion recognition (SER), called Speech Swin-Transformer. Specifically, we first divide the speech spectrogram into segment-level patches in the time domain, composed of multiple frame patches. These segment-level patches are then encoded using a stack of Swin blocks, in which a local window Transformer is utilized to explore local inter-frame emotional information across frame patches of each segment patch. After that, we also design a shifted window Transformer to compensate for patch correlations near the boundaries of segment patches. Finally, we employ a patch merging operation to aggregate segment-level emotional features for hierarchical speech representation by expanding the receptive field of Transformer from frame-level to segment-level. Experimental results demonstrate that our proposed Speech Swin-Transformer outperforms the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google