LLM Social Simulations Are a Promising Research Method

要約

人間の研究対象の正確で検証可能な大手言語モデル（LLM）シミュレーションは、人間の行動を理解し、新しいAIシステムをトレーニングするためのアクセス可能なデータソースを約束します。
しかし、これまでの結果は限られており、この方法を採用した社会科学者はほとんどいません。
このポジションペーパーでは、LLMの社会シミュレーションの約束は、5つの扱いやすい課題に対処することで達成できると主張します。
LLMSと人間の研究対象の間の経験的比較のレビュー、トピックに関する解説、および関連する作業において、私たちの議論を根拠としています。
コンテキストが豊富なプロンプトと、社会科学データセットでの微調整など、有望な方向を特定します。
LLMソーシャルシミュレーションはすでにパイロットおよび探索的研究に使用できると考えており、LLM機能を急速に進めるには、より広範な使用がすぐに可能になる可能性があると考えています。
研究者は、新しいAIシステムを最大限に活用するために、概念モデルの開発と反復評価を優先する必要があります。

要約(オリジナル)

Accurate and verifiable large language model (LLM) simulations of human research subjects promise an accessible data source for understanding human behavior and training new AI systems. However, results to date have been limited, and few social scientists have adopted this method. In this position paper, we argue that the promise of LLM social simulations can be achieved by addressing five tractable challenges. We ground our argument in a review of empirical comparisons between LLMs and human research subjects, commentaries on the topic, and related work. We identify promising directions, including context-rich prompting and fine-tuning with social science datasets. We believe that LLM social simulations can already be used for pilot and exploratory studies, and more widespread use may soon be possible with rapidly advancing LLM capabilities. Researchers should prioritize developing conceptual models and iterative evaluations to make the best use of new AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google