Editing Personality for LLMs

要約

本稿では、大規模言語モデル（Large Language Models: LLM）の性格特性の編集に焦点を当てた革新的なタスクを紹介する。このタスクは、特定のトピックに関する意見関連の質問に対するモデルの応答を調整することを目的とする。具体的には、このタスクに対処するために、新しいベンチマークデータセットPersonalityEditを構築する。社会心理学の理論に基づき、我々は3つの代表的な特性、すなわち神経質、外向性、快感をベンチマークの基礎として分離する。そして、GPT-4を使ってデータを収集し、指定されたトピックに沿った回答だけでなく、対象となる性格特性を体現する回答を生成する。様々なベースラインを含む包括的な実験を行い、LLMにおける性格行動の表現について議論する。我々の興味深い発見は、提案されたタスクの潜在的な課題を明らかにし、いくつかの残された問題を示している。我々の研究は、NLPコミュニティに洞察を提供できると期待している。コードとデータセットはhttps://github.com/zjunlp/EasyEdit。

要約(オリジナル)

This paper introduces an innovative task focused on editing the personality traits of Large Language Models (LLMs). This task seeks to adjust the models’ responses to opinion-related questions on specified topics since an individual’s personality often manifests in the form of their expressed opinions, thereby showcasing different personality traits. Specifically, we construct a new benchmark dataset PersonalityEdit to address this task. Drawing on the theory in Social Psychology, we isolate three representative traits, namely Neuroticism, Extraversion, and Agreeableness, as the foundation for our benchmark. We then gather data using GPT-4, generating responses that not only align with a specified topic but also embody the targeted personality trait. We conduct comprehensive experiments involving various baselines and discuss the representation of personality behavior in LLMs. Our intriguing findings uncover potential challenges of the proposed task, illustrating several remaining issues. We anticipate that our work can provide the NLP community with insights. Code and datasets will be released at https://github.com/zjunlp/EasyEdit.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL