The Potential and Challenges of Evaluating Attitudes, Opinions, and Values in Large Language Models

要約

大規模言語モデル (LLM) の最近の進歩により、LLM が持つ可能性のある人間に似た認知行動特性の検証と理解に対する幅広い関心が引き起こされています。
これらの認知行動特性には、通常、態度、意見、価値観 (AOV) が含まれます。
ただし、LLM 内に埋め込まれた AOV の測定は依然として不透明であり、評価方法が異なれば異なる結果が生じる可能性があります。
このため、さまざまな研究が互いにどのように関連し、どのように解釈できるかが明確になりません。
この文書は、LLM における AOV の評価に関する最近の研究の概要を提供することで、このギャップを埋めることを目的としています。
さらに、これらの作業における評価パイプラインのさまざまな段階で関連するアプローチを調査します。
そうすることで、モデルの理解、人間と AI の連携、社会科学における下流の応用に関する可能性と課題に対処します。
最後に、評価方法、モデルの強化、および学際的なコラボレーションに関する実践的な洞察を提供し、それによって LLM における AOV の評価の進化する状況に貢献します。

要約(オリジナル)

Recent advances in Large Language Models (LLMs) have sparked wide interest in validating and comprehending the human-like cognitive-behavioral traits LLMs may have. These cognitive-behavioral traits include typically Attitudes, Opinions, Values (AOV). However, measuring AOV embedded within LLMs remains opaque, and different evaluation methods may yield different results. This has led to a lack of clarity on how different studies are related to each other and how they can be interpreted. This paper aims to bridge this gap by providing an overview of recent works on the evaluation of AOV in LLMs. Moreover, we survey related approaches in different stages of the evaluation pipeline in these works. By doing so, we address the potential and challenges with respect to understanding the model, human-AI alignment, and downstream application in social sciences. Finally, we provide practical insights into evaluation methods, model enhancement, and interdisciplinary collaboration, thereby contributing to the evolving landscape of evaluating AOV in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google