DualKanbaFormer: Kolmogorov-Arnold Networks and State Space Model Transformer for Multimodal Aspect-based Sentiment Analysis

要約

マルチモーダル アスペクトベースセンチメント分析 (MABSA) は、テキストと画像などの他のデータ タイプを組み合わせることでセンチメント検出を強化します。
しかし、重要なベンチマークを設定しているにもかかわらず、注意メカニズムは、テキスト内の側面と意見の対象の間の長距離の依存関係を効率的にモデル化するのに限界を示しています。
また、視覚表現のグローバル コンテキストの依存関係を把握する際にも課題に直面しています。
この目的を達成するために、我々はコルモゴロフ・アーノルド・ネットワーク（KAN）と選択的状態空間モデル（Mamba）トランスフォーマー（DualKanbaFormer）、つまり上記の問題に対処する新しいアーキテクチャを提案します。
Mamba の力を活用してグローバル コンテキスト依存関係をキャプチャし、マルチヘッド アテンション (MHA) でローカル コンテキスト依存関係をキャプチャし、KAN の力を活用してテキスト表現 (テキスト KanbaFormer) と視覚表現 (ビジュアル KanbaFormer) の両方の非線形モデリング パターンをキャプチャします。
さらに、テキストの KanbaFormer と視覚的な KanbaFormer をゲート融合レイヤーと融合して、モダリティ間のダイナミクスをキャプチャします。
広範な実験結果によると、私たちのモデルは 2 つの公開データセットに関するいくつかの最先端 (SOTA) 研究を上回っています。

要約(オリジナル)

Multimodal aspect-based sentiment analysis (MABSA) enhances sentiment detection by combining text with other data types like images. However, despite setting significant benchmarks, attention mechanisms exhibit limitations in efficiently modelling long-range dependencies between aspect and opinion targets within the text. They also face challenges in capturing global-context dependencies for visual representations. To this end, we propose Kolmogorov-Arnold Networks (KANs) and Selective State Space model (Mamba) transformer (DualKanbaFormer), a novel architecture to address the above issues. We leverage the power of Mamba to capture global context dependencies, Multi-head Attention (MHA) to capture local context dependencies, and KANs to capture non-linear modelling patterns for both textual representations (textual KanbaFormer) and visual representations (visual KanbaFormer). Furthermore, we fuse the textual KanbaFormer and visual KanbaFomer with a gated fusion layer to capture the inter-modality dynamics. According to extensive experimental results, our model outperforms some state-of-the-art (SOTA) studies on two public datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google