Prompt Framework for Role-playing: Generation and Evaluation

要約

大規模言語モデル (LLM) は、自然言語の生成、ユーザーの指示の理解、人間のような言語使用のエミュレーションにおいて優れた能力を示しており、ロールプレイング シナリオへの適用に大きな関心が集まっています。
ただし、ロール固有のスクリプト データの手動収集とモデルのパフォーマンスの評価は、リソースを大量に消費するプロセスです。
このプロジェクトでは、ロールプレイング対話データセットの生成とロールプレイングのパフォーマンスの評価に GPT の機能を活用するように設計されたプロンプトベースのフレームワークを導入します。
GPT ベースの生成と評価の有効性を検証するために、リコール指向の Rouge-L メトリックをさらに組み込み、パフォーマンスの追加の定量的尺度を提供します。

要約(オリジナル)

Large language models (LLMs) exhibit impressive proficiency in natural language generation, understanding user instructions, and emulating human-like language use, which has led to significant interest in their application to role-playing scenarios. However, the manual collection of role-specific script data and the evaluation of model performance are resource-intensive processes. This project introduces a prompt-based framework designed to leverage GPT’s capabilities for the generation of role-playing dialogue datasets and the evaluation of role-playing performance. To validate the effectiveness of the GPT-based generation and evaluation, we further incorporate the recall-oriented Rouge-L metric, providing an additional quantitative measure of performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google