ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human

要約

【タイトル】ChatPLUG：インターネット増強指示調整によるデジタルヒューマン向けのオープンドメイン生成対話システム

【要約】
– ChatPLUGは、様々な対話スキルと優れたマルチタスク汎化を持つ、デジタルヒューマン向けの中国のオープンドメイン対話システムである。
– 前処理学習を組み合わせた統一インターネット自然言語指示テンプレートを使用して、知識、人格、多回答記憶、共感などの多様な機能をカバーする幅広い対話タスクに対処する。
– 前処理学習を通じて、世界の知識と対話能力を注入することで、ChatPLUGを構築することを目的としている。
– ChatPLUGは、自動評価と人間の評価で最先端の中国語対話システムよりも優れ、テキスト理解および生成タスクのさまざまなマルチタスク汎化の強力な証拠を示した。
– Smart Speakerやインスタントメッセージアプリケーションのような現実世界のアプリケーションにChatPLUGを展開している。 また、モデルとコードは ModelScope と Github で公開されている。

要約(オリジナル)

In this paper, we present ChatPLUG, a Chinese open-domain dialogue system for digital human applications that instruction finetunes on a wide range of dialogue tasks in a unified internet-augmented format. Different from other open-domain dialogue models that focus on large-scale pre-training and scaling up model size or dialogue corpus, we aim to build a powerful and practical dialogue system for digital human with diverse skills and good multi-task generalization by internet-augmented instruction tuning. To this end, we first conduct large-scale pre-training on both common document corpus and dialogue data with curriculum learning, so as to inject various world knowledge and dialogue abilities into ChatPLUG. Then, we collect a wide range of dialogue tasks spanning diverse features of knowledge, personality, multi-turn memory, and empathy, on which we further instruction tune \modelname via unified natural language instruction templates. External knowledge from an internet search is also used during instruction finetuning for alleviating the problem of knowledge hallucinations. We show that \modelname outperforms state-of-the-art Chinese dialogue systems on both automatic and human evaluation, and demonstrates strong multi-task generalization on a variety of text understanding and generation tasks. In addition, we deploy \modelname to real-world applications such as Smart Speaker and Instant Message applications with fast inference. Our models and code will be made publicly available on ModelScope~\footnote{\small{https://modelscope.cn/models/damo/ChatPLUG-3.7B}} and Github~\footnote{\small{https://github.com/X-PLUG/ChatPLUG}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI