PLACES: Prompting Language Models for Social Conversation Synthesis

要約

高品質の会話データを収集することは、ほとんどのアプリケーションにとって非常にコストがかかる可能性があり、プライバシー、倫理、または同様の懸念により、他のアプリケーションにとっては実行不可能です。
この問題に取り組むための有望な方向性は、大規模な言語モデルを促すことによって合成対話を生成することです。
この作業では、プロンプティングを使用して社会的会話データセットを合成するために、専門家が作成した会話の小さなセットをコンテキスト内の例として使用します。
人間が収集した会話と比較して、合成会話のいくつかの徹底的な評価を実行します。
これには、合成された会話に対する人間による直接評価による会話品質のさまざまな側面と、合成的に生成されたデータセットで微調整されたチャットボットのインタラクティブな人間による評価が含まれます。
さらに、このプロンプト アプローチがマルチパーティの会話に一般化可能であることを示し、マルチパーティ タスク用の新しい合成データを作成する可能性を提供します。
私たちの合成マルチパーティ会話は、人間が収集したマルチパーティ データセットからサンプリングされた会話の抜粋と比較して、測定されたすべての次元でより好意的に評価されました。

要約(オリジナル)

Collecting high quality conversational data can be very expensive for most applications and infeasible for others due to privacy, ethical, or similar concerns. A promising direction to tackle this problem is to generate synthetic dialogues by prompting large language models. In this work, we use a small set of expert-written conversations as in-context examples to synthesize a social conversation dataset using prompting. We perform several thorough evaluations of our synthetic conversations compared to human-collected conversations. This includes various dimensions of conversation quality with human evaluation directly on the synthesized conversations, and interactive human evaluation of chatbots fine-tuned on the synthetically generated dataset. We additionally demonstrate that this prompting approach is generalizable to multi-party conversations, providing potential to create new synthetic data for multi-party tasks. Our synthetic multi-party conversations were rated more favorably across all measured dimensions compared to conversation excerpts sampled from a human-collected multi-party dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google