Joint sentiment analysis of lyrics and audio in music

要約

感情や気分は、音楽において様々なレベルで表現される。自動分析では通常、実際のオーディオデータが分析されるが、歌詞もムードの知覚に重要な役割を果たすことがある。まず、歌詞と音声に基づくセンチメント分析のための様々なモデルを個別に評価する。対応するアプローチはすでに満足のいく結果を示しているが、弱点も示しており、その原因をさらに詳しく検討する。さらに、音声と歌詞の結果を組み合わせるための様々なアプローチを提案し、評価する。両方のモダリティを考慮することで、一般的に性能が向上する。音声と歌詞の感情間の誤分類と（意図的な）矛盾をより詳細に調査し、考えられる原因を特定する。最後に、主観性の高さ、データ不足、感情分類法の矛盾など、この研究領域における基本的な問題に取り組みます。

要約(オリジナル)

Sentiment or mood can express themselves on various levels in music. In automatic analysis, the actual audio data is usually analyzed, but the lyrics can also play a crucial role in the perception of moods. We first evaluate various models for sentiment analysis based on lyrics and audio separately. The corresponding approaches already show satisfactory results, but they also exhibit weaknesses, the causes of which we examine in more detail. Furthermore, different approaches to combining the audio and lyrics results are proposed and evaluated. Considering both modalities generally leads to improved performance. We investigate misclassifications and (also intentional) contradictions between audio and lyrics sentiment more closely, and identify possible causes. Finally, we address fundamental problems in this research area, such as high subjectivity, lack of data, and inconsistency in emotion taxonomies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL