Stance Detection on Social Media with Fine-Tuned Large Language Models

要約

自然言語処理における重要なタスクであるスタンス検出は、テキスト分析に基づいて作成者の視点を決定します。
この研究では、初期の機械学習アプローチから画期的な BERT モデル、そして最終的には ChatGPT、LLaMa-2、Mistral-7B などの最新の大規模言語モデル (LLM) に移行する、スタンス検出手法の進化を評価します。
ChatGPT のクローズドソースの性質と関連コストには課題がありますが、LLaMa-2 や Mistral-7B のようなオープンソース モデルは心強い代替手段を提供します。
当初、私たちの研究は、いくつかの公開されているデータセットを使用して ChatGPT、LLaMa-2、および Mistral-7B を微調整することに焦点を当てていました。
次に、包括的な比較を行うために、ゼロショット学習シナリオと少数ショット学習シナリオでこれらのモデルのパフォーマンスを評価します。
この結果は、スタンスを正確に検出する LLM の卓越した能力を強調しており、テストされたすべてのモデルが既存のベンチマークを上回っています。
特に、LLaMa-2 と Mistral-7B は、ChatGPT と比較してサイズが小さいにもかかわらず、スタンス検出の顕著な効率と可能性を示しています。
この研究はスタンス検出における LLM の可能性を強調しており、この分野でのより広範な研究が求められています。

要約(オリジナル)

Stance detection, a key task in natural language processing, determines an author’s viewpoint based on textual analysis. This study evaluates the evolution of stance detection methods, transitioning from early machine learning approaches to the groundbreaking BERT model, and eventually to modern Large Language Models (LLMs) such as ChatGPT, LLaMa-2, and Mistral-7B. While ChatGPT’s closed-source nature and associated costs present challenges, the open-source models like LLaMa-2 and Mistral-7B offers an encouraging alternative. Initially, our research focused on fine-tuning ChatGPT, LLaMa-2, and Mistral-7B using several publicly available datasets. Subsequently, to provide a comprehensive comparison, we assess the performance of these models in zero-shot and few-shot learning scenarios. The results underscore the exceptional ability of LLMs in accurately detecting stance, with all tested models surpassing existing benchmarks. Notably, LLaMa-2 and Mistral-7B demonstrate remarkable efficiency and potential for stance detection, despite their smaller sizes compared to ChatGPT. This study emphasizes the potential of LLMs in stance detection and calls for more extensive research in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google