MambaForGCN: Enhancing Long-Range Dependency with State Space Model and Kolmogorov-Arnold Networks for Aspect-Based Sentiment Analysis

要約

アスペクトベースの感情分析 (ABSA) は、テキスト内のエンティティの特定の側面に対する感情を評価します。
ただし、注意メカニズムとニューラル ネットワーク モデルは構文上の制約に悩まされます。
注意メカニズムの二次複雑さは、ABSA におけるアスペクトと意見の単語の間の長距離依存関係を捕捉するためのその採用を制限することにもなります。
この複雑さにより、文脈に関係のない単語が誤って解釈され、その有効性が短期間の依存関係に制限される可能性があります。
上記の問題に対処するために、ABSA (MambaForGCN) のアスペクトと意見の単語の間の長距離依存関係を強化する新しいアプローチを提案します。
このアプローチには、構文ベースのグラフ畳み込みネットワーク (SynGCN) および MambaFormer (Mamba-Transformer) モジュールが組み込まれており、依存関係とセマンティック情報を使用して入力をエンコードします。
MambaFormer モジュールのマルチヘッド アテンション (MHA) ブロックと選択的状態空間モデル (Mamba) ブロックは、アスペクトと意見の単語の間の短距離および長距離の依存関係を使用してモデルを強化するチャネルとして機能します。
また、SynGCN と MambaFormer を統合し、非線形で複雑な依存関係をキャプチャする適応特徴表現システムである Kolmogorov-Arnold Networks (KAN) ゲート フュージョンも紹介します。
3 つのベンチマーク データセットの実験結果は、MambaForGCN の有効性を実証し、最先端 (SOTA) ベースライン モデルを上回っています。

要約(オリジナル)

Aspect-based Sentiment Analysis (ABSA) evaluates sentiments toward specific aspects of entities within the text. However, attention mechanisms and neural network models struggle with syntactic constraints. The quadratic complexity of attention mechanisms also limits their adoption for capturing long-range dependencies between aspect and opinion words in ABSA. This complexity can lead to the misinterpretation of irrelevant contextual words, restricting their effectiveness to short-range dependencies. To address the above problem, we present a novel approach to enhance long-range dependencies between aspect and opinion words in ABSA (MambaForGCN). This approach incorporates syntax-based Graph Convolutional Network (SynGCN) and MambaFormer (Mamba-Transformer) modules to encode input with dependency relations and semantic information. The Multihead Attention (MHA) and Selective State Space model (Mamba) blocks in the MambaFormer module serve as channels to enhance the model with short and long-range dependencies between aspect and opinion words. We also introduce the Kolmogorov-Arnold Networks (KANs) gated fusion, an adaptive feature representation system that integrates SynGCN and MambaFormer and captures non-linear, complex dependencies. Experimental results on three benchmark datasets demonstrate MambaForGCN’s effectiveness, outperforming state-of-the-art (SOTA) baseline models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google