Dialogue Language Model with Large-Scale Persona Data Engineering

要約

ChatGptのようなモデルで例示されるように、ペルソナの一貫性を維持することは、オープンドメインダイアログシステムの適用において最も重要です。
大幅な進歩にもかかわらず、現在のペルソナダイアログデータセットの限られた規模と多様性は、堅牢なペルソナ親和的な対話モデルを達成するための課題のままです。
この研究では、大規模なトレーニングの成功からインスピレーションを得て、ペルソナダイアログデータセットで広範な生成前トレーニングを採用してペルソナの一貫性を強化するPPDSを紹介します。
具体的には、膨大なペルソナダイアログデータセットを自律的かつ正確に生成するように設計されたペルソナ抽出モデルを提示します。
さらに、作成されたデータセットに固有の無効なペルソナバイアスに対処するために、先駆的なペルソナ増強技術を発表します。
定量的および人間の評価は、提案されたモデルの優れた応答の質とペルソナの一貫性を一貫して強調し、その有効性を強調しています。

要約(オリジナル)

Maintaining persona consistency is paramount in the application of open-domain dialogue systems, as exemplified by models like ChatGPT. Despite significant advancements, the limited scale and diversity of current persona dialogue datasets remain challenges to achieving robust persona-consistent dialogue models. In this study, drawing inspiration from the success of large-scale pre-training, we introduce PPDS, an open-domain persona dialogue system that employs extensive generative pre-training on a persona dialogue dataset to enhance persona consistency. Specifically, we present a persona extraction model designed to autonomously and precisely generate vast persona dialogue datasets. Additionally, we unveil a pioneering persona augmentation technique to address the invalid persona bias inherent in the constructed dataset. Both quantitative and human evaluations consistently highlight the superior response quality and persona consistency of our proposed model, underscoring its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google