Heuristic-enhanced Candidates Selection strategy for GPTs tackle Few-Shot Aspect-Based Sentiment Analysis

要約

フューショット アスペクトベース感情分析 (FSABSA) は、自然言語処理において不可欠かつ非常に困難なタスクです。
ただし、事前トレーニング済み言語モデル (PLM) に基づくメソッドは複数のサブタスクに対応するのが難しく、生成事前トレーニング済みトランスフォーマー (GPT) に基づくメソッドのパフォーマンスは低くなります。
上記の問題に対処するために、この論文ではヒューリスティック強化された候補者選択 (HCS) 戦略を設計し、それに基づいたオールインワン (AiO) モデルをさらに提案します。
このモデルは 2 段階で機能し、PLM の精度と GPT の一般化機能を同時に満たします。
具体的には、第 1 段階では、PLM に基づくバックボーン モデルが入力文の大まかなヒューリスティック候補を生成します。
第 2 段階では、AiO は LLM のコンテキスト学習機能を活用して、正確な予測を生成します。
この研究では、5 つのベンチマーク データセットに対して包括的な比較実験とアブレーション実験を実施しました。
実験結果は、提案されたモデルが複数のサブタスクによりよく適応でき、GPT を直接利用する方法よりも優れていることを示しています。

要約(オリジナル)

Few-Shot Aspect-Based Sentiment Analysis (FSABSA) is an indispensable and highly challenging task in natural language processing. However, methods based on Pre-trained Language Models (PLMs) struggle to accommodate multiple sub-tasks, and methods based on Generative Pre-trained Transformers (GPTs) perform poorly. To address the above issues, the paper designs a Heuristic-enhanced Candidates Selection (HCS) strategy and further proposes All in One (AiO) model based on it. The model works in a two-stage, which simultaneously accommodates the accuracy of PLMs and the generalization capability of GPTs. Specifically, in the first stage, a backbone model based on PLMs generates rough heuristic candidates for the input sentence. In the second stage, AiO leverages LLMs’ contextual learning capabilities to generate precise predictions. The study conducted comprehensive comparative and ablation experiments on five benchmark datasets. The experimental results demonstrate that the proposed model can better adapt to multiple sub-tasks, and also outperforms the methods that directly utilize GPTs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google