Beyond Profile: From Surface-Level Facts to Deep Persona Simulation in LLMs

要約

ペルソナシミュレーションへの以前のアプローチ大規模な言語モデル（LLM）は、通常、基本的な伝記情報の学習、または限られたロールプレイダイアログデータセットを使用してキャラクターの応答をキャプチャすることに依存しています。
しかし、個人の全体的な表現は、表面レベルの事実や会話を超えて、より深い考えや思考になります。
この作業では、文字の言語パターンと特徴的な思考プロセスの両方を再現するように設計されたモデルであるCharacherbotを紹介します。
有名な中国の作家であるLu Xunをケーススタディとして使用して、彼の17のエッセイコレクションから派生した4つのトレーニングタスクを提案します。
これらには、外部の言語構造と知識の習得に焦点を当てたトレーニング前のタスク、および3つの微調整タスクが含まれます：多肢選択質問、生成的な質問への回答、スタイル転送、それぞれがLU Xunの内部アイデアと執筆とLLMを調整します
スタイル。
これらのタスク全体で学習を最適化するために、Charloraパラメーターの更新メカニズムを導入します。一般的な言語スタイルの専門家が他のタスク固有の専門家と協力して、言語スタイルとより深い考えの理解の両方をよりよく研究します。
言語の精度と意見の理解について3つのタスクでキャラクターボットを評価し、適応したメトリックのベースラインを大幅に上回ることを示しています。
この作業が、ディープキャラクターのペルソナシミュレーションLLMに関する将来の研究を促すことを願っています。

要約(オリジナル)

Previous approaches to persona simulation large language models (LLMs) have typically relied on learning basic biographical information, or using limited role-play dialogue datasets to capture a character’s responses. However, a holistic representation of an individual goes beyond surface-level facts or conversations to deeper thoughts and thinking. In this work, we introduce CharacterBot, a model designed to replicate both the linguistic patterns and distinctive thought processes of a character. Using Lu Xun, a renowned Chinese writer, as a case study, we propose four training tasks derived from his 17 essay collections. These include a pre-training task focused on mastering external linguistic structures and knowledge, as well as three fine-tuning tasks: multiple-choice question answering, generative question answering, and style transfer, each aligning the LLM with Lu Xun’s internal ideation and writing style. To optimize learning across these tasks, we introduce a CharLoRA parameter updating mechanism, where a general linguistic style expert collaborates with other task-specific experts to better study both the language style and the understanding of deeper thoughts. We evaluate CharacterBot on three tasks for linguistic accuracy and opinion comprehension, demonstrating that it significantly outperforms the baselines on our adapted metrics. We hope that this work inspires future research on deep character persona simulation LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google