Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis

要約

アスペクトベースの感情分析 (ABSA) は感情分析の重要なサブタスクであり、側面を抽出してその感情を予測することを目的としています。
既存の研究のほとんどは、ターゲット ドメインのデータセットに基づいてドメイン固有のモデル (ソース ドメインでトレーニングされた) を微調整することにより、ターゲット ドメインのパフォーマンスを向上させることに焦点を当てています。
歴史ドメインの能力を維持しながらターゲットドメインの能力を学習することを目的とした、ABSA の継続的な学習タスクを提案している作品はほとんどありません。
この論文では、ABSA のための大規模言語モデルベースの継続学習 (\texttt{LLM-CL}) モデルを提案します。
まず、ドメイン不変アダプターを学習し、直交制約を使用してドメインバリアントアダプターを依存的に分離するドメイン知識分離モジュールを設計します。
次に、ドメイン不変知識とドメイン変動知識の間で表現を調整するためのドメイン知識ウォームアップ戦略を導入します。
テスト段階では、各サンプルのドメイン ID を必要としないように、ドメイン ポジショニングを介して、対応するドメインバリアントの知識にインデックスを付けます。
19 のデータセットにわたる広範な実験により、\texttt{LLM-CL} モデルが新たな最先端のパフォーマンスを獲得できることが示されました。

要約(オリジナル)

Aspect-based sentiment analysis (ABSA) is an important subtask of sentiment analysis, which aims to extract the aspects and predict their sentiments. Most existing studies focus on improving the performance of the target domain by fine-tuning domain-specific models (trained on source domains) based on the target domain dataset. Few works propose continual learning tasks for ABSA, which aim to learn the target domain’s ability while maintaining the history domains’ abilities. In this paper, we propose a Large Language Model-based Continual Learning (\texttt{LLM-CL}) model for ABSA. First, we design a domain knowledge decoupling module to learn a domain-invariant adapter and separate domain-variant adapters dependently with an orthogonal constraint. Then, we introduce a domain knowledge warmup strategy to align the representation between domain-invariant and domain-variant knowledge. In the test phase, we index the corresponding domain-variant knowledge via domain positioning to not require each sample’s domain ID. Extensive experiments over 19 datasets indicate that our \texttt{LLM-CL} model obtains new state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google