Prompt Refinement or Fine-tuning? Best Practices for using LLMs in Computational Social Science Tasks

要約

大規模言語モデルは、計算社会科学におけるテキスト理解の複雑なタスクを可能にする表現力豊かなツールである。その多機能性は、有益である一方で、この分野で標準化されたベストプラクティスを確立するための障壁となっている。異なる戦略の価値を明確にするために、23の社会知識タスクのベンチマークにおける最新のLLMベースの分類手法のパフォーマンスの概要を示す。その結果、以下の3つのベストプラクティスが示された：より多くの語彙と事前学習コーパスを持つモデルを選択する；単純なゼロショットを避け、AIによるプロンプティングを優先する；タスクに特化したデータで微調整を行う；学習データのみがより豊富な場合にのみ、複数のデータセットでより複雑な形式のインストラクションチューニングを検討する。

要約(オリジナル)

Large Language Models are expressive tools that enable complex tasks of text understanding within Computational Social Science. Their versatility, while beneficial, poses a barrier for establishing standardized best practices within the field. To bring clarity on the values of different strategies, we present an overview of the performance of modern LLM-based classification methods on a benchmark of 23 social knowledge tasks. Our results point to three best practices: select models with larger vocabulary and pre-training corpora; avoid simple zero-shot in favor of AI-enhanced prompting; fine-tune on task-specific data, and consider more complex forms instruction-tuning on multiple datasets only when only training data is more abundant.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL