Large Language Models in Targeted Sentiment Analysis

要約

この論文では、ロシアのニュース記事内の名前付きエンティティに対する感情を抽出するためのデコーダベースの生成トランスフォーマーの使用を調査します。
私たちは、命令調整された大規模言語モデル (LLM) の感情分析機能を研究しています。
私たちの研究では RuSentNE-2023 のデータセットを考慮します。
最初のグループの実験は、閉じた透明フィルムと開いた透明フィルムを備えた LLM のゼロショット機能を評価することを目的としていました。
2 つ目では、「思考連鎖」(CoT) 3 ホップ推論フレームワーク (THoR) を使用した Flan-T5 の微調整について説明します。
ゼロショット アプローチの結果は、ベースラインの微調整されたエンコーダーベースの変換器 (BERT ベース) によって得られる結果と似ていることがわかりました。
THoR を使用して微調整された Flan-T5 モデルの推論機能は、ゼロショット実験の結果と比較して、基本サイズのモデルで少なくとも 5% の増加を達成しました。
RuSentNE-2023 に関するセンチメント分析の最良の結果は、微調整された Flan-T5-xl によって達成され、これまでの最先端のトランスフォーマーベースの分類器の結果を上回りました。
CoT アプリケーション フレームワークは一般公開されています: https://github.com/nicolay-r/Reasoning-for-Sentiment-Analysis-Framework

要約(オリジナル)

In this paper we investigate the use of decoder-based generative transformers for extracting sentiment towards the named entities in Russian news articles. We study sentiment analysis capabilities of instruction-tuned large language models (LLMs). We consider the dataset of RuSentNE-2023 in our study. The first group of experiments was aimed at the evaluation of zero-shot capabilities of LLMs with closed and open transparencies. The second covers the fine-tuning of Flan-T5 using the ‘chain-of-thought’ (CoT) three-hop reasoning framework (THoR). We found that the results of the zero-shot approaches are similar to the results achieved by baseline fine-tuned encoder-based transformers (BERT-base). Reasoning capabilities of the fine-tuned Flan-T5 models with THoR achieve at least 5% increment with the base-size model compared to the results of the zero-shot experiment. The best results of sentiment analysis on RuSentNE-2023 were achieved by fine-tuned Flan-T5-xl, which surpassed the results of previous state-of-the-art transformer-based classifiers. Our CoT application framework is publicly available: https://github.com/nicolay-r/Reasoning-for-Sentiment-Analysis-Framework

arxiv情報

提供元, 利用サービス

arxiv.jp, Google