Syntax-aware Hybrid prompt model for Few-shot multi-modal sentiment analysis

要約

マルチモーダル感情分析 (MSA) は、今日の自然言語処理において、文レベルとアスペクト レベルの両方で人気のあるトピックです。
ただし、既存のアプローチではほとんどの場合、大規模なラベル付きデータセットが必要となり、時間とリソースが大量に消費されます。
したがって、クロスモダリティにおける少数ショットの感情分析の方法を検討することが現実的です。
以前の作品は一般に、プロンプトベースの方法 (主に手作りプロンプトと学習可能なプロンプト) の 2 つのタイプを使用して、テキスト形式で実行されます。
少数ショットのマルチモダリティ感情分析タスクにおける既存のアプローチでは、両方の方法が別々に利用されていました。
さらに、1 つ以上の固定の手作りプロンプトと学習可能なプロンプトを組み合わせ、アテンション メカニズムを利用してプロンプト エンコーダを最適化できるハイブリッド パターンを設計します。
文レベルとアスペクトレベルの両方のデータセットでの実験により、大幅に優れたパフォーマンスが得られることが証明されました。

要約(オリジナル)

Multimodal Sentiment Analysis (MSA) has been a popular topic in natural language processing nowadays, at both sentence and aspect level. However, the existing approaches almost require large-size labeled datasets, which bring about large consumption of time and resources. Therefore, it is practical to explore the method for few-shot sentiment analysis in cross-modalities. Previous works generally execute on textual modality, using the prompt-based methods, mainly two types: hand-crafted prompts and learnable prompts. The existing approach in few-shot multi-modality sentiment analysis task has utilized both methods, separately. We further design a hybrid pattern that can combine one or more fixed hand-crafted prompts and learnable prompts and utilize the attention mechanisms to optimize the prompt encoder. The experiments on both sentence-level and aspect-level datasets prove that we get a significant outperformance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google