ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human

要約

タイトル：ChatPLUG：デジタルヒューマン向けのインターネット増強指示チューニングを備えたオープンドメイン生成対話システム

要約：

– ChatPLUGは、統一されたインターネット増強形式で幅広い対話タスクに対する指示微調整を行う中国語のオープンドメイン対話システムである。
– 他のオープンドメイン対話モデルが大規模な事前トレーニングやモデルサイズまたは対話コーパスの拡大に注力するのに対し、インターネット増強指示チューニングにより様々なスキルをもち、優れたマルチタスク汎化能力を備えた強力で実用的な対話システムを構築することを目的とする。
– そのために、最初にカリキュラム学習を用いて、一般文書コーパスと対話データの両方で大規模な事前トレーニングを実施し、異なる世界的な知識と対話能力をChatPLUGに注入する。
– 次に、知識、個性、マルチターンメモリ、共感の多様な特徴にわたる幅広い対話タスクを収集し、\modelnameを統一された自然言語指示テンプレートを使用して指示微調整する。
– 知識の幻覚問題を軽減するために、インターネット検索から得られた外部知識も指示の微調整に使用される。
– \modelnameは、自動及び人間評価の両方で最先端の中国語対話システムを上回り、さまざまなテキスト理解と生成のタスクにおいて強力なマルチタスク汎化を示す。
– さらに、Smart SpeakerやInstant Messageアプリケーションなどの現実世界のアプリケーションにも\modelnameを展開し、高速な推論を実現する。
– モデルやコードは、ModelScope~\footnote{\small{https://modelscope.cn/models/damo/ChatPLUG-3.7B}}とGithub~\footnote{\small{https://github.com/X-PLUG/ChatPLUG}}で公開される予定である。

要約(オリジナル)

In this paper, we present ChatPLUG, a Chinese open-domain dialogue system for digital human applications that instruction finetunes on a wide range of dialogue tasks in a unified internet-augmented format. Different from other open-domain dialogue models that focus on large-scale pre-training and scaling up model size or dialogue corpus, we aim to build a powerful and practical dialogue system for digital human with diverse skills and good multi-task generalization by internet-augmented instruction tuning. To this end, we first conduct large-scale pre-training on both common document corpus and dialogue data with curriculum learning, so as to inject various world knowledge and dialogue abilities into ChatPLUG. Then, we collect a wide range of dialogue tasks spanning diverse features of knowledge, personality, multi-turn memory, and empathy, on which we further instruction tune \modelname via unified natural language instruction templates. External knowledge from an internet search is also used during instruction finetuning for alleviating the problem of knowledge hallucinations. We show that \modelname outperforms state-of-the-art Chinese dialogue systems on both automatic and human evaluation, and demonstrates strong multi-task generalization on a variety of text understanding and generation tasks. In addition, we deploy \modelname to real-world applications such as Smart Speaker and Instant Message applications with fast inference. Our models and code will be made publicly available on ModelScope~\footnote{\small{https://modelscope.cn/models/damo/ChatPLUG-3.7B}} and Github~\footnote{\small{https://github.com/X-PLUG/ChatPLUG}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI