MORPHEUS: Modeling Role from Personalized Dialogue History by Exploring and Utilizing Latent Space

要約

Personalized Dialogue Generation (PDG) は、役割やペルソナに応じて一貫した応答を作成することを目的としています。
従来の PDG は外部の役割データに依存していますが、データが不足しており、プライバシーの懸念が生じる可能性があります。
アプローチは、対話履歴から役割情報を抽出することでこれらの問題に対処しますが、連続空間で役割を一般的にモデル化できないことがよくあります。
これらの制限を克服するために、\textbf{E}xploring と \textbf{U}tilizing による \textbf{P}ersonalized Dialogue \textbf{H}istory から新しいフレームワーク \textbf{MO}dels \textbf{R}oles を導入します。
3 段階のトレーニング プロセスによる潜在的な \textbf{S} ペース (MORPHEUS)。
具体的には、潜在空間における役割をコンパクトに表現するためのペルソナコードブックを作成し、このコードブックを利用して役割情報の事後分布を構築します。
この方法により、モデルを役割間で一般化することができ、目に見えない役割に対してもパーソナライズされた対話を生成できるようになります。
中国語と英語の両方のデータセットでの実験では、MORPHEUS が役割情報の抽出を強化し、外部役割データなしでの応答生成を向上させることが実証されました。
さらに、MORPHEUS は大規模な言語モデルの効率的な微調整と考えることができます。

要約(オリジナル)

Personalized Dialogue Generation (PDG) aims to create coherent responses according to roles or personas. Traditional PDG relies on external role data, which can be scarce and raise privacy concerns. Approaches address these issues by extracting role information from dialogue history, which often fail to generically model roles in continuous space. To overcome these limitations, we introduce a novel framework \textbf{MO}dels \textbf{R}oles from \textbf{P}ersonalized Dialogue \textbf{H}istory by \textbf{E}xploring and \textbf{U}tilizing Latent \textbf{S}pace (MORPHEUS) through a three-stage training process. Specifically, we create a persona codebook to represent roles in latent space compactly, and this codebook is used to construct a posterior distribution of role information. This method enables the model to generalize across roles, allowing the generation of personalized dialogues even for unseen roles. Experiments on both Chinese and English datasets demonstrate that MORPHEUS enhances the extraction of role information, and improves response generation without external role data. Additionally, MORPHEUS can be considered an efficient fine-tuning for large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google