Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis

要約

タイトル：Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis（アスペクトベースの感情分析のための統合インスタンスおよび知識アラインメントプリトレーニング）

要約：

– ABSAは、特定の側面に対する感情極性を決定することを目的とする。
– プリトレーニング戦略は、コストがかかり、限られたラベル付きデータのため、ABSAの事前準備で一般的に使用されている。
– プリトレーニングとダウンストリームABSAデータセット間には常に厳しいドメインシフトが存在するため、直接ファインチューニングしてダウンストリームタスクを行うと、効果的な知識移動が妨げられ、亜最適的なパフォーマンスが得られる。
– 上記の問題を解決するために、我々は、インスタンスと知識のアラインメントの両方に焦点を当てた統一されたアラインメントプリトレーニングフレームワークを提供する。
– 統一されたフレームワークは、まず、大規模なプリトレーニングデータセットから目標ドメインに関連するインスタンスを選択するために、新しいコース・トゥ・ファイン検索サンプリングアプローチを開発する（第1ステージ）。
– 次に、知識ガイダンスベースの戦略を導入して、知識レベルでのドメインのギャップをさらに橋渡しする（第2ステージ）
– 最後に、ファインチューニングによって、学習済みの知識をターゲットデータセットに適応させるために、学習モデルをファインチューニングする（第3ステージ）。
– 実験と分析により、我々の提案したプリトレーニングフレームワークの有効性と普遍性を示す。我々のソースコードとモデルは、https://github.com/WHU-ZQH/UIKAで公開されている。

要約(オリジナル)

Aspect-based Sentiment Analysis (ABSA) aims to determine the sentiment polarity towards an aspect. Because of the expensive and limited labelled data, the pretraining strategy has become the de-facto standard for ABSA. However, there always exists severe domain shift between the pretraining and downstream ABSA datasets, hindering the effective knowledge transfer when directly finetuning and making the downstream task performs sub-optimal. To mitigate such domain shift, we introduce a unified alignment pretraining framework into the vanilla pretrain-finetune pipeline with both instance- and knowledge-level alignments. Specifically, we first devise a novel coarse-to-fine retrieval sampling approach to select target domain-related instances from the large-scale pretraining dataset, thus aligning the instances between pretraining and target domains (First Stage). Then, we introduce a knowledge guidance-based strategy to further bridge the domain gap at the knowledge level. In practice, we formulate the model pretrained on the sampled instances into a knowledge guidance model and a learner model, respectively. On the target dataset, we design an on-the-fly teacher-student joint fine-tuning approach to progressively transfer the knowledge from the knowledge guidance model to the learner model (Second Stage). Thereby, the learner model can maintain more domain-invariant knowledge when learning new knowledge from the target dataset. In the Third Stage, the learner model is finetuned to better adapt its learned knowledge to the target dataset. Extensive experiments and analyses on several ABSA benchmarks demonstrate the effectiveness and universality of our proposed pretraining framework. Our source code and models are publicly available at https://github.com/WHU-ZQH/UIKA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI