PRODIGy: a PROfile-based DIalogue Generation dataset

要約

対話エージェントにプロフィール表現を提供すると、対話エージェントの一貫性と一貫性が向上し、より良い会話が実現します。
ただし、このようなエージェントをトレーニングするための現在のプロファイルベースの対話データセットには、単純で対話固有の明示的なプロファイル表現か、収集が困難な暗黙的な表現のいずれかが含まれています。
この研究では、各対話がコミュニケーション スタイル、経歴、性格などの考えられるすべての話者の表現と一致する新しいリソースを作成することで、標準的なプロフィール表現とより洗練されたプロフィール表現の両方を統合する統一フレームワークを提案します。
このフレームワークを使用すると、生成言語モデルを使用して構築された複数のベースラインを、いくつかのプロファイル構成でテストできます。
自動評価では、ドメイン内設定とクロスドメイン設定の両方で、プロファイル ベースのモデルが対話のみでトレーニングされたモデルよりも優れた汎化機能を備えていることが示されています。
これらの結果は、微調整されたモデルと命令ベースの LLM で一貫しています。
さらに、人間による評価では、プロファイルとコンテキストの両方に一致する世代に対する明確な優先順位が示されています。
最後に、プライバシー上の懸念の可能性を考慮して、すべての実験はキャラクター間とキャラクター内という 2 つの構成で行われます。
前者では、LM はその内部表現にキャラクターに関する情報を保存しますが、後者では、個人情報は保持せず、推論時にのみ使用します。

要約(オリジナル)

Providing dialogue agents with a profile representation can improve their consistency and coherence, leading to better conversations. However, current profile-based dialogue datasets for training such agents contain either explicit profile representations that are simple and dialogue-specific, or implicit representations that are difficult to collect. In this work, we propose a unified framework in which we bring together both standard and more sophisticated profile representations by creating a new resource where each dialogue is aligned with all possible speaker representations such as communication style, biographies, and personality. This framework allows to test several baselines built using generative language models with several profile configurations. The automatic evaluation shows that profile-based models have better generalisation capabilities than models trained on dialogues only, both in-domain and cross-domain settings. These results are consistent for fine-tuned models and instruction-based LLMs. Additionally, human evaluation demonstrates a clear preference for generations consistent with both profile and context. Finally, to account for possible privacy concerns, all experiments are done under two configurations: inter-character and intra-character. In the former, the LM stores the information about the character in its internal representation, while in the latter, the LM does not retain any personal information but uses it only at inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google