Use of Large Language Models for Stance Classification

要約

関心のある主題に対する著者の視点を予測するタスクであるスタンス検出は、長い間研究の焦点となってきました。
現在のスタンス検出方法は、主に文章への手動の注釈に依存し、その後に教師あり機械学習モデルをトレーニングします。
ただし、この手動の注釈プロセスは、文内のスタンスを完全に理解するモデルの能力に制限を課し、さまざまなコンテキストにわたって一般化する可能性を妨げます。
この研究では、人間によるラベルの使用を最小限に抑えて、スタンス分類のタスクに大規模言語モデル (LLM) を使用する方法を調査します。
私たちは、LLM と組み合わせた 4 つの異なるタイプのプロンプト スキームを精査し、その精度を手動のスタンス決定と比較します。
私たちの研究では、LLM は各データセットのベンチマーク結果と一致するか、場合によってはそれを超えることもありますが、全体的な精度が教師付きモデルで生成できるものよりも決定的に優れているわけではないことが明らかになりました。
これは、LLM のスタンス分類における改善の余地がある領域を示唆しています。
ただし、LLM を適用すると、教師なしスタンス検出に有望な道が開かれ、手動によるスタンスの収集と注釈の必要性が軽減されます。
これにより、プロセスが合理化されるだけでなく、スタンス検出機能を言語間で拡張する道も開かれます。
この論文を通じて、私たちはLLMのスタンス分類能力に光を当て、それによってこの分野の将来の進歩を導くことができる貴重な洞察に貢献しました。

要約(オリジナル)

Stance detection, the task of predicting an author’s viewpoint towards a subject of interest, has long been a focal point of research. Current stance detection methods predominantly rely on manual annotation of sentences, followed by training a supervised machine learning model. This manual annotation process, however, imposes limitations on the model’s ability to fully comprehend the stances in the sentence and hampers its potential to generalize across different contexts. In this study, we investigate the use of Large Language Models (LLMs) for the task of stance classification, with an absolute minimum use of human labels. We scrutinize four distinct types of prompting schemes combined with LLMs, comparing their accuracies with manual stance determination. Our study reveals that while LLMs can match or sometimes even exceed the benchmark results in each dataset, their overall accuracy is not definitively better than what can be produced by supervised models. This suggests potential areas for improvement in the stance classification for LLMs. The application of LLMs, however, opens up promising avenues for unsupervised stance detection, thereby curtailing the need for manual collection and annotation of stances. This not only streamlines the process but also paves the way for expanding stance detection capabilities across languages. Through this paper, we shed light on the stance classification abilities of LLMs, thereby contributing valuable insights that can guide future advancements in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google