A Quantum Probability Driven Framework for Joint Multi-Modal Sarcasm, Sentiment and Emotion Analysis

要約

皮肉、感傷、感情は、外部の出来事に対する人間の自発的な感情反応の 3 つの典型的な種類であり、相互に密接に絡み合っています。
このようなイベントは、マルチモーダル会話など、複数のモダリティ (言語、視覚、音響など) で表現される場合があります。
人間の多峰性の皮肉、感情、感情の共同分析は、モダリティ間の相互作用と感情間の相関関係の両方が関与する複雑な認知プロセスであるため、重要かつ挑戦的なトピックです。
確率論の観点から見ると、相互愛情相関は、皮肉、感情、感情に関する判断が両立しないことも意味します。
ただし、この露出した現象は、互換性を前提としているため、古典的な確率理論では十分にモデル化できません。
既存のアプローチもそれを考慮していません。
人間の認知、特に文脈に適合しない意思決定のモデル化における量子確率 (QP) の最近の成功を考慮して、私たちは共同マルチモーダル皮肉、センチメント、および感情分析に QP を導入するための第一歩を踏み出します。
具体的には、QUIETと呼ばれる、量子確率駆動型のマルチモーダル皮肉、感情、感情分析フレームワークを提案します。
2 つのデータセットに対する広範な実験とその結果は、幅広い最先端のベースラインと比較した QUIET の有効性と利点を示しています。
また、多重影響分析における QP の大きな可能性も示します。

要約(オリジナル)

Sarcasm, sentiment, and emotion are three typical kinds of spontaneous affective responses of humans to external events and they are tightly intertwined with each other. Such events may be expressed in multiple modalities (e.g., linguistic, visual and acoustic), e.g., multi-modal conversations. Joint analysis of humans’ multi-modal sarcasm, sentiment, and emotion is an important yet challenging topic, as it is a complex cognitive process involving both cross-modality interaction and cross-affection correlation. From the probability theory perspective, cross-affection correlation also means that the judgments on sarcasm, sentiment, and emotion are incompatible. However, this exposed phenomenon cannot be sufficiently modelled by classical probability theory due to its assumption of compatibility. Neither do the existing approaches take it into consideration. In view of the recent success of quantum probability (QP) in modeling human cognition, particularly contextual incompatible decision making, we take the first step towards introducing QP into joint multi-modal sarcasm, sentiment, and emotion analysis. Specifically, we propose a QUantum probabIlity driven multi-modal sarcasm, sEntiment and emoTion analysis framework, termed QUIET. Extensive experiments on two datasets and the results show that the effectiveness and advantages of QUIET in comparison with a wide range of the state-of-the-art baselines. We also show the great potential of QP in multi-affect analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google