Multimodal Affective States Recognition Based on Multiscale CNNs and Biologically Inspired Decision Fusion Model

要約

タイトル：多スケールCNNと生物学的な意思決定融合モデルに基づく多モーダル感情状態認識

要約：

– 単一モダリティシグナルに基づく感情状態認識モデルにはEEG信号や周辺生理学的信号などがあるが、多モーダル生理学的信号に基づく感情状態認識方法はまだ完全には開発されていない。
– ここでは、多スケール畳み込みニューラルネットワーク（多スケールCNN）と生物学的な意思決定融合モデルを提案している。まず、生データは基準線信号で前処理される。次に、多スケールCNNのハイスケールCNNとロースケールCNNは、EEGおよび各周辺生理学的信号の感情状態出力の確率を予測するために利用される。最後に、融合モデルは、各単一モダリティ信号の信頼度を、多スケールCNNからの分類確率と各クラスラベルとのユークリッド距離によって計算し、より信頼性の高いモダリティ情報によって決定し、他のモダリティ情報を保持する。
– このモデルを使って、DEAPおよびAMIGOSデータセットの興奮および価値面で四つの感情状態を分類した。その結果、融合モデルは、単一モダリティ信号の結果と比較して、感情状態の認識精度を大幅に改善し、DEAPデータセットでは認識精度が98.52％、AMIGOSデータセットでは99.89％に達した。

要約(オリジナル)

There has been an encouraging progress in the affective states recognition models based on the single-modality signals as electroencephalogram (EEG) signals or peripheral physiological signals in recent years. However, multimodal physiological signals-based affective states recognition methods have not been thoroughly exploited yet. Here we propose Multiscale Convolutional Neural Networks (Multiscale CNNs) and a biologically inspired decision fusion model for multimodal affective states recognition. Firstly, the raw signals are pre-processed with baseline signals. Then, the High Scale CNN and Low Scale CNN in Multiscale CNNs are utilized to predict the probability of affective states output for EEG and each peripheral physiological signal respectively. Finally, the fusion model calculates the reliability of each single-modality signals by the Euclidean distance between various class labels and the classification probability from Multiscale CNNs, and the decision is made by the more reliable modality information while other modalities information is retained. We use this model to classify four affective states from the arousal valence plane in the DEAP and AMIGOS dataset. The results show that the fusion model improves the accuracy of affective states recognition significantly compared with the result on single-modality signals, and the recognition accuracy of the fusion result achieve 98.52% and 99.89% in the DEAP and AMIGOS dataset respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI