LLM Agents for Psychology: A Study on Gamified Assessments

要約

心理測定は、メンタルヘルス、自己理解、個人の成長にとって不可欠です。
自己報告尺度や心理学者による面接などの従来の方法では、エンゲージメントやアクセシビリティの点で課題に直面することがよくあります。
ユーザーの関心を高め、評価を自動化するために、ゲームベースおよび LLM ベースのツールが検討されてきましたが、エンゲージメントと汎用性のバランスを取るのに苦労しています。
この研究では、心理評価の一般的なゲーミフィケーションを実現するために、PsychoGAT (Psychological Game Agents) を提案します。
主な洞察は、強力な LLM は熟練した心理学者としても革新的なゲーム デザイナーとしても機能できるということです。
LLM エージェントを指定された役割に組み込み、そのやり取りを注意深く管理することで、PsychoGAT は標準化されたスケールをパーソナライズされた魅力的なインタラクティブ フィクション ゲームに変換できます。
提案された方法を検証するために、心理測定評価を実施してその有効性を評価し、人間の評価者を採用して、うつ病、認知の歪み、性格特性などのさまざまな心理的構成要素にわたって生成されたコンテンツを検査します。
結果は、PsychoGAT が効果的な評価ツールとして機能し、信頼性、収束妥当性、判別妥当性などの心理測定指標において統計的に有意な卓越性を達成していることを示しています。
さらに、人間による評価により、PsychoGAT のコンテンツの一貫性、インタラクティブ性、興味、没入感、満足度が向上していることが確認されています。

要約(オリジナル)

Psychological measurement is essential for mental health, self-understanding, and personal development. Traditional methods, such as self-report scales and psychologist interviews, often face challenges with engagement and accessibility. While game-based and LLM-based tools have been explored to improve user interest and automate assessment, they struggle to balance engagement with generalizability. In this work, we propose PsychoGAT (Psychological Game AgenTs) to achieve a generic gamification of psychological assessment. The main insight is that powerful LLMs can function both as adept psychologists and innovative game designers. By incorporating LLM agents into designated roles and carefully managing their interactions, PsychoGAT can transform any standardized scales into personalized and engaging interactive fiction games. To validate the proposed method, we conduct psychometric evaluations to assess its effectiveness and employ human evaluators to examine the generated content across various psychological constructs, including depression, cognitive distortions, and personality traits. Results demonstrate that PsychoGAT serves as an effective assessment tool, achieving statistically significant excellence in psychometric metrics such as reliability, convergent validity, and discriminant validity. Moreover, human evaluations confirm PsychoGAT’s enhancements in content coherence, interactivity, interest, immersion, and satisfaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google