Can Large Language Models Transform Computational Social Science?

要約

大規模言語モデル (LLM) は、多くの言語処理タスクをゼロショット (トレーニング データなし) で正常に実行できます。
ゼロショット LLM が説得力や政治イデオロギーなどの社会現象を確実に分類して説明できる場合、LLM は重要な方法で計算社会科学 (CSS) パイプラインを強化できる可能性があります。
この作業は、LLM を CSS ツールとして使用するためのロードマップを提供します。
この目的に向けて、私たちは、25 の代表的な英語 CSS ベンチマークで 13 の言語モデルのゼロショット パフォーマンスを測定するための一連の推奨ベスト プラクティスと広範な評価パイプラインに貢献しています。
分類学的ラベル付けタスク (分類) では、LLM は最適な微調整モデルを上回るパフォーマンスは得られませんが、それでも人間とのかなりのレベルの一致を達成します。
自由形式のコーディング タスク (生成) では、LLM は多くの場合、クラウドワーカーのゴールド リファレンスの品質を超える説明を生成します。
私たちは、今日の LLM のパフォーマンスは、次の 2 つの方法で CSS 研究パイプラインを強化できると結論付けています: (1) 人間によるアノテーション チームのゼロショット データ アノテーターとしての役割、および (2) 困難なクリエイティブ生成タスクのブートストラップ (例: 根底にある属性の説明)
文章）。
要約すると、LLM は人間と協力して社会科学分析に有意義に参加することになります。

要約(オリジナル)

Large Language Models (LLMs) are capable of successfully performing many language processing tasks zero-shot (without training data). If zero-shot LLMs can also reliably classify and explain social phenomena like persuasiveness and political ideology, then LLMs could augment the Computational Social Science (CSS) pipeline in important ways. This work provides a road map for using LLMs as CSS tools. Towards this end, we contribute a set of prompting best practices and an extensive evaluation pipeline to measure the zero-shot performance of 13 language models on 25 representative English CSS benchmarks. On taxonomic labeling tasks (classification), LLMs fail to outperform the best fine-tuned models but still achieve fair levels of agreement with humans. On free-form coding tasks (generation), LLMs produce explanations that often exceed the quality of crowdworkers’ gold references. We conclude that the performance of today’s LLMs can augment the CSS research pipeline in two ways: (1) serving as zero-shot data annotators on human annotation teams, and (2) bootstrapping challenging creative generation tasks (e.g., explaining the underlying attributes of a text). In summary, LLMs are posed to meaningfully participate in} social science analysis in partnership with humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google