Automatic Item Generation for Personality Situational Judgment Tests with Large Language Models

要約

特に状況判断テスト（SJTS）を通じて、人格評価は、心理的研究、人材選択、教育評価のための重要なツールです。
この研究では、中国語の人格状況判断テスト（PSJT）の生成を自動化するための最先端の大手言語モデル（LLM）であるGPT-4の可能性を調査します。
従来のSJT開発は労働集約的であり、バイアスを抑えやすく、GPT-4はスケーラブルで効率的な代替品を提供します。
2つの研究が実施されました。研究1は、コンテンツの妥当性に対する迅速な設計と温度設定の影響を評価し、1.0の温度で最適化されたプロンプトが創造的で正確なアイテムを生成したことを発見しました。
研究2では、GPT-4生成されたPSJTSの心理測定特性を評価し、彼らが満足のいく信頼性と妥当性を実証し、ビッグファイブパーソナリティ特性の測定における手動で開発されたテストのパフォーマンスを上回ることを明らかにしました。
この研究は、高品質のPSJTを開発する際のGPT-4の有効性を強調し、心理測定テスト開発のためのスケーラブルで革新的な方法を提供します。
これらの調査結果は、自動アイテムの生成の可能性と心理学におけるLLMの適用を拡大し、リソース制限設定でのテスト開発プロセスを合理化するために実際的な意味を提供します。

要約(オリジナル)

Personality assessment, particularly through situational judgment tests (SJTs), is a vital tool for psychological research, talent selection, and educational evaluation. This study explores the potential of GPT-4, a state-of-the-art large language model (LLM), to automate the generation of personality situational judgment tests (PSJTs) in Chinese. Traditional SJT development is labor-intensive and prone to biases, while GPT-4 offers a scalable, efficient alternative. Two studies were conducted: Study 1 evaluated the impact of prompt design and temperature settings on content validity, finding that optimized prompts with a temperature of 1.0 produced creative and accurate items. Study 2 assessed the psychometric properties of GPT-4-generated PSJTs, revealing that they demonstrated satisfactory reliability and validity, surpassing the performance of manually developed tests in measuring the Big Five personality traits. This research highlights GPT-4’s effectiveness in developing high-quality PSJTs, providing a scalable and innovative method for psychometric test development. These findings expand the possibilities of automatic item generation and the application of LLMs in psychology, and offer practical implications for streamlining test development processes in resource-limited settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google