Zero- and Few-Shot Prompting with LLMs: A Comparative Study with Fine-tuned Models for Bangla Sentiment Analysis

要約

デジタル世界の急速な拡大により、感情分析はマーケティング、政治、顧客サービス、ヘルスケアなどのさまざまな分野にわたって重要なツールになりました。
広く話されている言語のセンチメント分析は大幅に進歩しましたが、バングラ語などのリソースの少ない言語は、リソースの制約により依然としてほとんど研究が進んでいません。
さらに、さまざまなアプリケーションにおける大規模言語モデル (LLM) の最近の前例のないパフォーマンスは、低リソース言語のコンテキストで LLM を評価する必要性を浮き彫りにしています。
この研究では、33,605 件のバングラ ニュースのツイートと Facebook のコメントを含む、手動で注釈が付けられた大規模なデータセットを紹介します。
また、Flan-T5、GPT-4、Bloomz などのいくつかの言語モデルを使用したゼロショットおよび少数ショットのインコンテキスト学習も調査し、微調整されたモデルとの比較分析を提供します。
私たちの調査結果は、単一言語トランスフォーマーベースのモデルが、ショット数がゼロまたは数回のシナリオであっても、他のモデルよりも一貫して優れていることを示唆しています。
継続的な探査を促進するために、私たちはこのデータセットと研究ツールをより広範な研究コミュニティに公開する予定です。
さらなる研究の精神で、私たちはこのデータセットと実験リソースをより広範な研究コミュニティに公開する予定です。

要約(オリジナル)

The rapid expansion of the digital world has propelled sentiment analysis into a critical tool across diverse sectors such as marketing, politics, customer service, and healthcare. While there have been significant advancements in sentiment analysis for widely spoken languages, low-resource languages, such as Bangla, remain largely under-researched due to resource constraints. Furthermore, the recent unprecedented performance of Large Language Models (LLMs) in various applications highlights the need to evaluate them in the context of low-resource languages. In this study, we present a sizeable manually annotated dataset encompassing 33,605 Bangla news tweets and Facebook comments. We also investigate zero- and few-shot in-context learning with several language models, including Flan-T5, GPT-4, and Bloomz, offering a comparative analysis against fine-tuned models. Our findings suggest that monolingual transformer-based models consistently outperform other models, even in zero and few-shot scenarios. To foster continued exploration, we intend to make this dataset and our research tools publicly available to the broader research community. In the spirit of further research, we plan to make this dataset and our experimental resources publicly accessible to the wider research community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google