Towards ‘Differential AI Psychology’ and in-context Value-driven Statement Alignment with Moral Foundations Theory

要約

社会科学における現代の研究では、コンテンツに注釈を付けたり生成したりするために最先端の統計言語モデルを利用することが増えています。
これらのモデルは共通言語タスクでベンチマークをリードし、模範的なタスクに依存しない創発的能力を示していますが、それらを新しいドメイン外タスクに移行することについては十分に検討されていません。
統計的ブラックボックス アプローチ (確率論的なオウム) の影響は、言語モデル研究コミュニティで顕著に批判されています。
ただし、新しい生成タスクの重要性はそうではありません。
この研究では、個人化された言語モデルと道徳基礎理論アンケートの調査参加者との間の整合性を調査します。
私たちは、テキストツーテキスト モデルをさまざまな政治的ペルソナに適応させ、アンケートを繰り返し調査して、ペルソナとモデルの組み合わせの合成母集団を生成します。
グループ内分散と相互調整を分析すると、モデルとペルソナ間で大きな違いがあることがわかります。
私たちの調査結果は、適応されたモデルが、調査によって収集された政治イデオロギーの評価を表現するのに苦労していることを示しています。
したがって、言語モデルを使用して社会的相互作用を模倣するには、心理学的および社会学的ステレオタイプに合わせてコンテキスト内の最適化またはパラメータ操作を測定可能な程度に改善する必要があります。
定量化可能な調整がなければ、政治的なニュアンスのあるコンテンツを生成することは依然として実現不可能です。
これらの表現を強化するために、将来の研究のために道徳的価値記述に基づいてエージェントを生成するためのテスト可能なフレームワークを提案します。

要約(オリジナル)

Contemporary research in social sciences is increasingly utilizing state-of-the-art statistical language models to annotate or generate content. While these models perform benchmark-leading on common language tasks and show exemplary task-independent emergent abilities, transferring them to novel out-of-domain tasks is only insufficiently explored. The implications of the statistical black-box approach – stochastic parrots – are prominently criticized in the language model research community; however, the significance for novel generative tasks is not. This work investigates the alignment between personalized language models and survey participants on a Moral Foundation Theory questionnaire. We adapt text-to-text models to different political personas and survey the questionnaire repetitively to generate a synthetic population of persona and model combinations. Analyzing the intra-group variance and cross-alignment shows significant differences across models and personas. Our findings indicate that adapted models struggle to represent the survey-captured assessment of political ideologies. Thus, using language models to mimic social interactions requires measurable improvements in in-context optimization or parameter manipulation to align with psychological and sociological stereotypes. Without quantifiable alignment, generating politically nuanced content remains unfeasible. To enhance these representations, we propose a testable framework to generate agents based on moral value statements for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google