Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis

要約

テキストの正確な感情分析は、顧客のフィードバックの理解、市場動向の監視、国民の感情の検出など、さまざまなアプリケーションにとって非常に重要です。
ただし、監視された学習のために手動で大きな感情を注釈することは、労働集約的で時間がかかることです。
したがって、センチメント分析タスクの半監視方法を開発することが不可欠で効果的です。
半教師のテキスト分類については、いくつかの方法が提案されていますが、無効なデータ内の本質的な情報と、感情分析シナリオへの一般化能力が欠けており、オーバーフィットする傾向があるNLPモデルの学習能力に依存しています。
次の指示とコヒーレントテキストの生成における前処理された大手言語モデル（LLMS）の能力に触発され、半監視された感情分析のための大規模な言語モデル（SCR）フレームワークを使用したセマンティック一貫性の正則化を提案します。
LLMSを使用して、2つのプロンプト戦略を導入して、2つのプロンプト戦略を導入して、ラベルのないテキストを意味的に強化します。
1つ目は、エンティティベースの拡張機能（SCR-EE）で、エンティティと数値情報を抽出し、LLMを照会してテキスト情報を再構築することを伴います。
2つ目は、コンセプトベースの拡張機能（SCR-CE）です。これは、セマンティック再構成のための元の文でLLMを直接照会します。
その後、LLMの高度データは、信頼性のしきい値との一貫性の損失に利用されます。これにより、高品質の合意サンプルがトレーニング中に追加の監督信号を提供します。
さらに、不確実な非標識データサンプルを完全に活用するために、定理を縮小するクラススペースに触発されたクラスの再組み立て戦略を提案します。
実験は、私たちの方法が、以前の半監視方法に対して顕著なパフォーマンスを達成することを示しています。

要約(オリジナル)

Accurate sentiment analysis of texts is crucial for a variety of applications, such as understanding customer feedback, monitoring market trends, and detecting public sentiment. However, manually annotating large sentiment corpora for supervised learning is labor-intensive and time-consuming. Therefore, it is essential and effective to develop a semi-supervised method for the sentiment analysis task. Although some methods have been proposed for semi-supervised text classification, they rely on the intrinsic information within the unlabeled data and the learning capability of the NLP model, which lack generalization ability to the sentiment analysis scenario and may prone to overfit. Inspired by the ability of pretrained Large Language Models (LLMs) in following instructions and generating coherent text, we propose a Semantic Consistency Regularization with Large Language Models (SCR) framework for semi-supervised sentiment analysis. We introduce two prompting strategies to semantically enhance unlabeled text using LLMs. The first is Entity-based Enhancement (SCR-EE), which involves extracting entities and numerical information, and querying the LLM to reconstruct the textual information. The second is Concept-based Enhancement (SCR-CE), which directly queries the LLM with the original sentence for semantic reconstruction. Subsequently, the LLM-augmented data is utilized for a consistency loss with confidence thresholding, which preserves high-quality agreement samples to provide additional supervision signals during training. Furthermore, to fully utilize the uncertain unlabeled data samples, we propose a class re-assembling strategy inspired by the class space shrinking theorem. Experiments show our method achieves remarkable performance over prior semi-supervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google