Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis

要約

アスペクトベースの感情分析 (ABSA) は、ある側面に対する感情の極性を判断することを目的としています。
高価でラベル付きデータが限られているため、事前トレーニング戦略は ABSA の事実上の標準になっています。
ただし、事前トレーニング データセットと下流の ABSA データセットの間には常に深刻なドメイン シフトが存在し、直接微調整する場合に効果的な知識の伝達が妨げられ、下流のタスクの実行が最適化されません。
このようなドメインのシフトを軽減するために、インスタンス レベルと知識レベルの両方の調整を備えた統合調整事前トレーニング フレームワークをバニラの事前トレーニング – 微調整パイプラインに導入します。
具体的には、まず、大規模な事前トレーニング データセットからターゲット ドメイン関連のインスタンスを選択するための新しい粗いから細かい検索サンプリング アプローチを考案し、事前トレーニングとターゲット ドメインの間でインスタンスを調整します (第 1 段階)。
次に、知識レベルでのドメインギャップをさらに埋めるために、知識ガイダンスベースの戦略を導入します。
実際には、サンプリングされたインスタンスで事前トレーニングされたモデルをそれぞれ知識ガイダンス モデルと学習者モデルに定式化します。
ターゲット データセット上で、オンザフライの教師と生徒の共同微調整アプローチを設計し、知識を知識ガイダンス モデルから学習者モデルに段階的に転送します (第 2 段階)。
これにより、学習者モデルは、ターゲット データセットから新しい知識を学習するときに、より多くのドメイン不変の知識を維持できます。
第 3 段階では、学習者モデルが微調整され、学習した知識をターゲット データセットにさらに適応させます。
いくつかの ABSA ベンチマークに関する広範な実験と分析により、私たちが提案する事前トレーニング フレームワークの有効性と普遍性が実証されています。
私たちのソース コードとモデルは https://github.com/WHU-ZQH/UIKA で公開されています。

要約(オリジナル)

Aspect-based Sentiment Analysis (ABSA) aims to determine the sentiment polarity towards an aspect. Because of the expensive and limited labelled data, the pretraining strategy has become the de-facto standard for ABSA. However, there always exists severe domain shift between the pretraining and downstream ABSA datasets, hindering the effective knowledge transfer when directly finetuning and making the downstream task performs sub-optimal. To mitigate such domain shift, we introduce a unified alignment pretraining framework into the vanilla pretrain-finetune pipeline with both instance- and knowledge-level alignments. Specifically, we first devise a novel coarse-to-fine retrieval sampling approach to select target domain-related instances from the large-scale pretraining dataset, thus aligning the instances between pretraining and target domains (First Stage). Then, we introduce a knowledge guidance-based strategy to further bridge the domain gap at the knowledge level. In practice, we formulate the model pretrained on the sampled instances into a knowledge guidance model and a learner model, respectively. On the target dataset, we design an on-the-fly teacher-student joint fine-tuning approach to progressively transfer the knowledge from the knowledge guidance model to the learner model (Second Stage). Thereby, the learner model can maintain more domain-invariant knowledge when learning new knowledge from the target dataset. In the Third Stage, the learner model is finetuned to better adapt its learned knowledge to the target dataset. Extensive experiments and analyses on several ABSA benchmarks demonstrate the effectiveness and universality of our proposed pretraining framework. Our source code and models are publicly available at https://github.com/WHU-ZQH/UIKA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google