Tutorials on Stance Detection using Pre-trained Language Models: Fine-tuning BERT and Prompting Large Language Models

要約

このペーパーでは、BERT の微調整と大規模言語モデル (LLM) のプロンプトを使用した Twitter データのスタンス検出に関する 2 つの自己完結型チュートリアルを紹介します。
最初のチュートリアルでは BERT アーキテクチャとトークン化について説明し、HuggingFace トランスフォーマーを使用した標準およびドメイン固有の BERT モデルのトレーニング、調整、評価をユーザーにガイドします。
2 つ目は、微調整を行わずに ChatGPT とオープンソース FLAN-T5 からスタンスを引き出すためのプロンプトと数ショットのサンプルの構築に焦点を当てています。
さまざまなプロンプト戦略が実装され、混同行列とマクロ F1 スコアを使用して評価されます。
このチュートリアルでは、コード、視覚化、微調整された BERT を上回る少数ショットの ChatGPT と FLAN-T5 の強みを明らかにする洞察が提供されます。
これらのチュートリアルでは、モデルの微調整とプロンプトベースのテクニックの両方をアクセスしやすい実践的な方法でカバーすることで、学習者がスタンス検出のための最先端の方法を応用した経験を積むことができます。

要約(オリジナル)

This paper presents two self-contained tutorials on stance detection in Twitter data using BERT fine-tuning and prompting large language models (LLMs). The first tutorial explains BERT architecture and tokenization, guiding users through training, tuning, and evaluating standard and domain-specific BERT models with HuggingFace transformers. The second focuses on constructing prompts and few-shot examples to elicit stances from ChatGPT and open-source FLAN-T5 without fine-tuning. Various prompting strategies are implemented and evaluated using confusion matrices and macro F1 scores. The tutorials provide code, visualizations, and insights revealing the strengths of few-shot ChatGPT and FLAN-T5 which outperform fine-tuned BERTs. By covering both model fine-tuning and prompting-based techniques in an accessible, hands-on manner, these tutorials enable learners to gain applied experience with cutting-edge methods for stance detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google