Knowledge Transfer For On-Device Speech Emotion Recognition with Neural Structured Learning

要約

音声感情認識（SER）は、ヒューマンコンピュータインタラクション（HCI）において人気のある研究テーマである。エッジデバイスが急速に普及している現在、SERをエッジデバイスに適用することは、膨大な数のHCIアプリケーションへの応用が期待されています。SERの性能を向上させるために、複雑なモデルを学習させる深層学習が研究されているが、エッジデバイスのメモリ空間と計算能力は、深層学習モデルを埋め込むための制約となる。我々は、合成グラフの構築を通じて、神経構造学習（NSL）フレームワークを提案する。SERモデルはソースデータセットでトレーニングされ、ターゲットデータセットでグラフを構築するために使用されます。そして、音声サンプルとグラフを一緒に入力として、比較的軽量なモデルが訓練される。我々の実験では、音声サンプルとグラフを含むターゲットデータセット上で軽量なSERモデルを訓練することで、小さなSERモデルを生成できるだけでなく、音声サンプルのみのモデルや古典的な転移学習戦略を用いたモデルと比較して、モデル性能を向上させることができることを示す。

要約(オリジナル)

Speech emotion recognition (SER) has been a popular research topic in human-computer interaction (HCI). As edge devices are rapidly springing up, applying SER to edge devices is promising for a huge number of HCI applications. Although deep learning has been investigated to improve the performance of SER by training complex models, the memory space and computational capability of edge devices represents a constraint for embedding deep learning models. We propose a neural structured learning (NSL) framework through building synthesized graphs. An SER model is trained on a source dataset and used to build graphs on a target dataset. A relatively lightweight model is then trained with the speech samples and graphs together as the input. Our experiments demonstrate that training a lightweight SER model on the target dataset with speech samples and graphs can not only produce small SER models, but also enhance the model performance compared to models with speech samples only and those using classic transfer learning strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL