Modeling Subjectivity in Cognitive Appraisal with Language Models

要約

学際的で人間中心の研究における言語モデルの利用が成長するにつれて、モデル能力の期待は進化し続けています。
従来のタスクに優れているだけでなく、モデルは最近、自信と人間（DIS）の合意を含むユーザー中心の測定でうまく機能することが期待されています。これは、主観的な好みを反映する要因です。
主観性のモデリングは認知科学に重要な役割を果たし、広範囲に研究されていますが、NLPコミュニティ内では未調査のままです。
このギャップに照らして、微調整されたモデルとプロンプトベースの大手言語モデル（LLMS）の両方を使用して、さまざまなシナリオで包括的な実験と分析を実施することにより、言語モデルが主観性を活用する方法を探ります。
私たちの定量的および定性的な実験結果は、既存の事後キャリブレーションアプローチが満足のいく結果を生成できないことが多いことを示しています。
しかし、我々の調査結果は、人格特性と人口統計情報が主観性を測定するために重要であることを明らかにしています。
さらに、当社の詳細な分析は、NLPと認知科学の学際的研究における将来の研究開発に関する貴重な洞察を提供します。

要約(オリジナル)

As the utilization of language models in interdisciplinary, human-centered studies grow, the expectation of model capabilities continues to evolve. Beyond excelling at conventional tasks, models are recently expected to perform well on user-centric measurements involving confidence and human (dis)agreement — factors that reflect subjective preferences. While modeling of subjectivity plays an essential role in cognitive science and has been extensively studied, it remains under-explored within the NLP community. In light of this gap, we explore how language models can harness subjectivity by conducting comprehensive experiments and analysis across various scenarios using both fine-tuned models and prompt-based large language models (LLMs). Our quantitative and qualitative experimental results indicate that existing post-hoc calibration approaches often fail to produce satisfactory results. However, our findings reveal that personality traits and demographical information are critical for measuring subjectivity. Furthermore, our in-depth analysis offers valuable insights for future research and development in the interdisciplinary studies of NLP and cognitive science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google