LanSER: Language-Model Supported Speech Emotion Recognition

要約

音声感情認識 (SER) モデルは通常、トレーニングにコストのかかる人間がラベル付けしたデータに依存しているため、大規模な音声データセットや微妙な感情分類法に拡張する方法が困難になります。
我々は、弱教師あり学習を通じて事前にトレーニングされた大規模言語モデルを介して弱い感情ラベルを推測することにより、ラベルのないデータの使用を可能にする手法である LanSER を紹介します。
分類法に制約された弱いラベルを推論するために、自動音声認識によって抽出された音声トランスクリプトの最も高い含意スコアを持つ感情ラベルを選択するテキスト含意アプローチを使用します。
私たちの実験結果は、この弱い監視を使用して大規模なデータセットで事前トレーニングされたモデルが、微調整された場合に標準 SER データセットでの他のベースライン モデルよりも優れたパフォーマンスを示し、ラベル効率の向上を示すことを示しています。
テキストのみから派生したラベルで事前にトレーニングされているにもかかわらず、結果として得られる表現が音声の韻律内容をモデル化しているように見えることを示します。

要約(オリジナル)

Speech emotion recognition (SER) models typically rely on costly human-labeled data for training, making scaling methods to large speech datasets and nuanced emotion taxonomies difficult. We present LanSER, a method that enables the use of unlabeled data by inferring weak emotion labels via pre-trained large language models through weakly-supervised learning. For inferring weak labels constrained to a taxonomy, we use a textual entailment approach that selects an emotion label with the highest entailment score for a speech transcript extracted via automatic speech recognition. Our experimental results show that models pre-trained on large datasets with this weak supervision outperform other baseline models on standard SER datasets when fine-tuned, and show improved label efficiency. Despite being pre-trained on labels derived only from text, we show that the resulting representations appear to model the prosodic content of speech.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google