Orca: Enhancing Role-Playing Abilities of Large Language Models by Integrating Personality Traits

要約

大規模な言語モデルはパーソナライズされた対話システムの開発を促進し、多数のロールプレイング会話エージェントが登場しました。
これまでの研究では主に、キャラクターのプロファイルを設計することでモデルの指示に従う能力を強化することに焦点が当てられており、人間の会話を促進する心理的要因は無視されていました。
この論文では、性格特性を統合することによってカスタム キャラクターのデータ処理と LLM をトレーニングするためのフレームワークである Orca を提案します。
Orca は 4 つの段階で構成されます。 (1) 性格特性の推論、LLM を利用してユーザーの BigFive 性格特性レポートとスコアを推論します。
(2) データを拡張し、ユーザーのプロフィール、背景ストーリー、心理的活動をシミュレートします。
(3) データセット構築、LLM を刺激するための性格条件付き指示プロンプト (PCIP)。
(4) モデリングとトレーニング、パーソナリティ条件付き命令チューニング (PTIT および PSIT)、生成されたデータを使用して既存のオープンソース LLM を強化します。
ソーシャル プラットフォーム上で LLM によって生成されたコンテンツの品質を複数のスケールで評価するための最初のベンチマークである OrcaBench を紹介します。
私たちの実験は、私たちが提案したモデルがこのベンチマークで優れたパフォーマンスを達成し、ロールプレイング能力を大幅に向上させる性格特性の認識におけるその卓越性と有効性を実証しました。
私たちのコードは https://github.com/Aipura/Orca で入手できます。

要約(オリジナル)

Large language models has catalyzed the development of personalized dialogue systems, numerous role-playing conversational agents have emerged. While previous research predominantly focused on enhancing the model’s capability to follow instructions by designing character profiles, neglecting the psychological factors that drive human conversations. In this paper, we propose Orca, a framework for data processing and training LLMs of custom characters by integrating personality traits. Orca comprises four stages: (1) Personality traits inferring, leverage LLMs to infer user’s BigFive personality trait reports and scores. (2) Data Augment, simulate user’s profile, background story, and psychological activities. (3) Dataset construction, personality-conditioned instruction prompting (PCIP) to stimulate LLMs. (4) Modeling and Training, personality-conditioned instruction tuning (PTIT and PSIT), using the generated data to enhance existing open-source LLMs. We introduce OrcaBench, the first benchmark for evaluating the quality of content generated by LLMs on social platforms across multiple scales. Our experiments demonstrate that our proposed model achieves superior performance on this benchmark, demonstrating its excellence and effectiveness in perceiving personality traits that significantly improve role-playing abilities. Our Code is available at https://github.com/Aipura/Orca.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google