PersLLM: A Personified Training Approach for Large Language Models

要約

大規模な言語モデルは、社会シミュレーション、人間とマシンの相互作用、協調的なマルチエージェント システムなどの領域で人間に似たエージェントとしてアプリケーションを触媒する人間レベルの知能の側面を示します。
ただし、不愉快な行動、一貫性のない意見、均一な応答パターンを示すなど、明確な性格が欠如しているため、実際のアプリケーションにおける LLM の有用性は低下します。
これに対処するため、LLM の性格特性の開発は、LLM の潜在的な可能性を解き放つための重要な研究分野として浮上しています。
LLM を擬人化するための既存の方法には、通常、指導調整に定型化されたトレーニング データを採用したり、プロンプト エンジニアリングを使用してさまざまな人格をシミュレートしたりする戦略が含まれます。
これらの方法は、人格の核心ではなく、表面的な言語スタイルのみを捕捉するため、安定していません。
この研究では、心理学に基づいた人格の原則、つまり社会的実践、一貫性、動的な発達を包括的なトレーニング方法論に統合する PersLLM を提案します。
私たちは性格特性をモデルパラメータに直接組み込み、モデルの誘導に対する耐性を強化し、一貫性を促進し、性格の動的な進化をサポートします。
単一エージェントの評価は、他のアプローチと比較して参照パーソナリティにより一致した応答を生成するため、この方法の優位性を検証します。
マルチエージェントコミュニケーションのケーススタディでは、個々のエージェント内の意見の一貫性を高め、対話のコンテキストで複数のエージェント間の協力的な創造性を促進し、ヒューマンシミュレーションとマルチエージェントの協力に潜在的に利益をもたらす利点を強調しています。
さらに、人間とエージェントのインタラクション評価では、擬人化モデルがインタラクティブなエクスペリエンスを大幅に強化することが示されており、研究の実際的な意味が強調されています。

要約(オリジナル)

Large language models exhibit aspects of human-level intelligence that catalyze their application as human-like agents in domains such as social simulations, human-machine interactions, and collaborative multi-agent systems. However, the absence of distinct personalities, such as displaying ingratiating behaviors, inconsistent opinions, and uniform response patterns, diminish LLMs utility in practical applications. Addressing this, the development of personality traits in LLMs emerges as a crucial area of research to unlock their latent potential. Existing methods to personify LLMs generally involve strategies like employing stylized training data for instruction tuning or using prompt engineering to simulate different personalities. These methods only capture superficial linguistic styles instead of the core of personalities and are therefore not stable. In this study, we propose PersLLM, integrating psychology-grounded principles of personality: social practice, consistency, and dynamic development, into a comprehensive training methodology. We incorporate personality traits directly into the model parameters, enhancing the model’s resistance to induction, promoting consistency, and supporting the dynamic evolution of personality. Single-agent evaluation validates our method’s superiority, as it produces responses more aligned with reference personalities compared to other approaches. Case studies for multi-agent communication highlight its benefits in enhancing opinion consistency within individual agents and fostering collaborative creativity among multiple agents in dialogue contexts, potentially benefiting human simulation and multi-agent cooperation. Additionally, human-agent interaction evaluations indicate that our personified models significantly enhance interactive experiences, underscoring the practical implications of our research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google