ValueSim: Generating Backstories to Model Individual Value Systems

要約

大規模な言語モデル（LLM）はますます人間のような能力を示し続けているため、それらを人間の価値に合わせて揃えることが非常に重要になりました。
迅速な学習や強化学習などの現代の高度なテクニックは、LLMを人間の価値とより適切に調整するために展開されています。
ただし、これらのアプローチは広範な倫理的考慮事項と有用性に対処していますが、個別の人間の価値システムのシミュレーションに焦点を当てることはめったにありません。
このギャップに対処するために、過去の経験と人口統計情報を反映する個人的なバックストーリーの生成を通じて個々の値をシミュレートするフレームワークであるValueImを提示します。
Valueimは、構造化された個々のデータを物語のバックストーリーに変換し、認知感情の性格システムに触発されたマルチモジュールアーキテクチャを採用して、これらの物語に基づいて個々の価値をシミュレートします。
World Values Surveyから派生した自己構築ベンチマークのテストValueimは、検索された生成方法と比較して、Top-1の精度の改善が10％以上の改善を示しています。
さらなる分析により、パフォーマンスが追加のユーザーインタラクション履歴が利用可能になるにつれてパフォーマンスが向上し、時間の経過とともにペルソナシミュレーション機能を改善するモデルの能力が示されています。

要約(オリジナル)

As Large Language Models (LLMs) continue to exhibit increasingly human-like capabilities, aligning them with human values has become critically important. Contemporary advanced techniques, such as prompt learning and reinforcement learning, are being deployed to better align LLMs with human values. However, while these approaches address broad ethical considerations and helpfulness, they rarely focus on simulating individualized human value systems. To address this gap, we present ValueSim, a framework that simulates individual values through the generation of personal backstories reflecting past experiences and demographic information. ValueSim converts structured individual data into narrative backstories and employs a multi-module architecture inspired by the Cognitive-Affective Personality System to simulate individual values based on these narratives. Testing ValueSim on a self-constructed benchmark derived from the World Values Survey demonstrates an improvement in top-1 accuracy by over 10% compared to retrieval-augmented generation methods. Further analysis reveals that performance enhances as additional user interaction history becomes available, indicating the model’s ability to refine its persona simulation capabilities over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google