Personality Structured Interview for Large Language Model Simulation in Personality Research

要約

精神測量の研究者は最近、人間の参加者のプロキシとしての大規模な言語モデル（LLM）の使用を調査しましたが、LLMは人間のような多様性で不均一なデータを生成できず、社会科学研究の進歩において価値を低下させることがよくあります。
これらの課題に対処するために、人格研究における人間の反応をシミュレートするためのツールとして、理論に基づいた性格構造インタビュー（PSI）の可能性を調査しました。
このアプローチでは、シミュレーションは、関心のある性格構成を標的とする微妙な実際の人間のインタビューの成績証明書に基づいています。
代表的なサンプルから357の構造化されたインタビュートランスクリプトの増加セットを提供しました。それぞれが、理論に基づく人格の証拠を収集するために慎重に設計された32の自由回答形式の質問に対する個人の応答を含んでいます。
さらに、心理測定研究に基づいて、LLM生成の心理測定データを体系的に検証するための評価フレームワークを要約しました。
3つの実験の結果は、適切に設計された構造化されたインタビューが、LLMシミュレートされた性格データの人間のような不均一性を改善し、人格関連の行動結果（すなわち、組織の市民権行動と逆生産的な仕事行動）を予測できることを示しています。
さらに、LLMベースのシミュレーションにおける理論に基づいた構造化されたインタビューの役割について説明し、心理測定研究のための人間のようなデータをシミュレートするための構造化されたインタビューを設計するための一般的なフレームワークの概要を説明します。

要約(オリジナル)

Although psychometrics researchers have recently explored the use of large language models (LLMs) as proxies for human participants, LLMs often fail to generate heterogeneous data with human-like diversity, which diminishes their value in advancing social science research. To address these challenges, we explored the potential of the theory-informed Personality Structured Interview (PSI) as a tool for simulating human responses in personality research. In this approach, the simulation is grounded in nuanced real-human interview transcripts that target the personality construct of interest. We have provided a growing set of 357 structured interview transcripts from a representative sample, each containing an individual’s response to 32 open-ended questions carefully designed to gather theory-based personality evidence. Additionally, grounded in psychometric research, we have summarized an evaluation framework to systematically validate LLM-generated psychometric data. Results from three experiments demonstrate that well-designed structured interviews could improve human-like heterogeneity in LLM-simulated personality data and predict personality-related behavioral outcomes (i.e., organizational citizenship behaviors and counterproductive work behavior). We further discuss the role of theory-informed structured interviews in LLM-based simulation and outline a general framework for designing structured interviews to simulate human-like data for psychometric research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google