ValueBench: Towards Comprehensively Evaluating Value Orientations and Understanding of Large Language Models

要約

大規模言語モデル (LLM) はさまざまな分野を変革し、人間の代理として影響力を増しています。
この開発は、LLM を公開アプリケーションに責任を持って統合するために、価値指向を評価し、LLM を理解することが緊急に必要であることを浮き彫りにしています。
この研究では、LLM における価値指向と価値理解を評価するための最初の包括的な心理測定ベンチマークである ValueBench を紹介します。
ValueBench は、453 の多面的な価値次元を網羅する 44 の確立された心理測定インベントリからデータを収集します。
私たちは、オープンエンドの価値空間における価値理解を評価するための新しいタスクとともに、価値の方向性を調査するための現実的な人間と AI の相互作用に基づいた評価パイプラインを提案します。
6 つの代表的な LLM に対して行われた広範な実験により、それらの共通の特有の価値指向を明らかにし、価値関連の抽出および生成タスクにおいて専門家の結論に近似する能力を示します。
ValueBench は、https://github.com/Value4AI/ValueBench からオープンにアクセスできます。

要約(オリジナル)

Large Language Models (LLMs) are transforming diverse fields and gaining increasing influence as human proxies. This development underscores the urgent need for evaluating value orientations and understanding of LLMs to ensure their responsible integration into public-facing applications. This work introduces ValueBench, the first comprehensive psychometric benchmark for evaluating value orientations and value understanding in LLMs. ValueBench collects data from 44 established psychometric inventories, encompassing 453 multifaceted value dimensions. We propose an evaluation pipeline grounded in realistic human-AI interactions to probe value orientations, along with novel tasks for evaluating value understanding in an open-ended value space. With extensive experiments conducted on six representative LLMs, we unveil their shared and distinctive value orientations and exhibit their ability to approximate expert conclusions in value-related extraction and generation tasks. ValueBench is openly accessible at https://github.com/Value4AI/ValueBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google