Enhancing Persona Consistency for LLMs’ Role-Playing using Persona-Aware Contrastive Learning

要約

近年、大規模な言語モデル（LLM）は、多くの対話生成タスクで画期的な進歩を達成しています。
しかし、彼らの感情の欠如と微調整された役割の認識により、モデルのパーソナライズされた多様な相互作用をさらに提供する能力が制限されます。
現在の方法は、ロールプレイングなどのシナリオの高品質の注釈データを収集する際に高いコストに直面しており、ロールプレイシナリオにおけるモデル行動の固有の多様性のため、従来の人間のアライメント方法は展開が困難です。
この論文では、RLHF（人間のフィードバックからの強化学習）を通じて安全行動のモデルの整合に触発され、ペルソナの調整の観点からモデルのロールプレイ行動を再検討し、\ textbf {\ underline {p}}} waultinive boertive boertiveの名前の\ textbf {\ underline {p}}という名前の名前のないフレームワークを提案します。
\ textbf {\ underline {l}}獲得（PCL）ロールプレイング中にLLMSの動作を調整し、モデルの役割の一貫性を高めます。
具体的には、最初に、ロールの特性と対話のコンテキストに基づいてモデルを自己質問に促すロールチェーン方法を設計し、性格の一貫性を調整します。
次に、ロール特性の使用とではなく使用する間の反復対比学習を通じて、モデルのロールプレイング戦略をさらに強化します。
ブラックボックスとホワイトボックスLLMの両方での実験は、PCLを装備したLLMが自動評価方法（Chareval \＆GPT-4）および人間の専門家評価の下でバニラLLMを大幅に上回ることを示しています。

要約(オリジナル)

In recent years, large language models (LLMs) have achieved breakthrough progress in many dialogue generation tasks. However, their lack of emotion and fine-grained role awareness limits the model’s ability to provide personalized and diverse interactions further. Current methods face high costs in collecting high-quality annotated data for scenarios such as role-playing, and traditional human alignment methods are difficult to deploy due to the inherent diversity of model behavior in role-playing scenarios. Inspired by the alignment of models for safety behaviors through RLHF (Reinforcement Learning from Human Feedback), in this paper, we revisit model role-playing behavior from the perspective of persona alignment and propose a novel annotation-free framework named \textbf{\underline{P}}ersona-Aware \textbf{\underline{C}}ontrastive \textbf{\underline{L}}earning (PCL) to align LLMs’ behavior during role-playing, enhancing the model’s role consistency. Specifically, we first design a role chain method to encourage the model to self-question based on the role characteristics and dialogue context to adjust personality consistency. Then, we further enhance the model’s role-playing strategy through iterative contrastive learning between the use of role characteristics and not. Experiments on both black-box and white-box LLMs show that LLMs equipped with PCL significantly outperform vanilla LLMs under automatic evaluation methods (CharEval \& GPT-4) and human expert evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google