SPEAKER VGG CCT: Cross-corpus Speech Emotion Recognition with Speaker Embedding and Vision Transformers

要約

近年、音声感情認識(SER)は、音声信号をスペクトログラムに変換し、一般的な画像で事前学習し、スペクトログラムで微調整した畳み込みニューラルネットワークを用いて分類することが主に研究されている。本論文では、上記の一般的な考え方から出発し、コンパクト畳み込み変換器（CCT）と話者埋め込みを組み合わせたSERのための新しい学習ソリューションを開発する。CCTsでは、Vision Transformers (ViT) の学習能力を、畳み込みによって可能になるように、大量のデータの必要性を減少させたものと組み合わせる。これは、大規模なデータコーパスを利用できないSERにおいて重要である。話者埋め込みにより、ネットワークは話者のアイデンティティ表現を抽出し、この表現は自己アテンション機構により、CCTがスペクトログラムから抽出した特徴量と統合される。全体として、このソリューションはリアルタイムで動作し、訓練とテストのデータセットを分離したクロスコーパスシナリオで有望な結果を示すことができる。本論文では、このようなクロスコーパスシナリオにおいて、いくつかのベンチマークを用いた実験を行い、最新のネットワークアーキテクチャを用いた実験と同等かそれ以上の結果を得た。我々のコードは https://github.com/JabuMlDev/Speaker-VGG-CCT で公開されている。

要約(オリジナル)

In recent years, Speech Emotion Recognition (SER) has been investigated mainly transforming the speech signal into spectrograms that are then classified using Convolutional Neural Networks pretrained on generic images and fine tuned with spectrograms. In this paper, we start from the general idea above and develop a new learning solution for SER, which is based on Compact Convolutional Transformers (CCTs) combined with a speaker embedding. With CCTs, the learning power of Vision Transformers (ViT) is combined with a diminished need for large volume of data as made possible by the convolution. This is important in SER, where large corpora of data are usually not available. The speaker embedding allows the network to extract an identity representation of the speaker, which is then integrated by means of a self-attention mechanism with the features that the CCT extracts from the spectrogram. Overall, the solution is capable of operating in real-time showing promising results in a cross-corpus scenario, where training and test datasets are kept separate. Experiments have been performed on several benchmarks in a cross-corpus setting as rarely used in the literature, with results that are comparable or superior to those obtained with state-of-the-art network architectures. Our code is available at https://github.com/JabuMlDev/Speaker-VGG-CCT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL