ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human

要約

本稿では、ChatPLUG を紹介します。ChatPLUG は、デジタル ヒューマン アプリケーション向けの中国のオープンドメイン対話システムであり、統一されたインターネット拡張フォーマットで幅広い対話タスクの微調整を指示します。
大規模な事前トレーニングとモデルサイズまたは対話コーパスのスケールアップに焦点を当てた他のオープンドメイン対話モデルとは異なり、多様なスキルとインターネットによる優れたマルチタスク一般化を備えたデジタルヒューマンのための強力で実用的な対話システムを構築することを目指しています。
– 命令チューニングの強化。
そのために、まず共通文書コーパスと対話データの両方についてカリキュラム学習による大規模な事前学習を実施し、さまざまな世界知識と対話能力をChatPLUGに注入します。
次に、知識、性格、マルチターン記憶、共感などのさまざまな特徴にわたる幅広い対話タスクを収集し、それに基づいて統一された自然言語命令テンプレートを介して \modelname の命令をさらに調整します。
知識幻覚の問題を軽減するために、インターネット検索からの外部知識も指導の微調整中に使用されます。
\modelname が自動評価と人間による評価の両方で最先端の中国語対話システムよりも優れていることを示し、さまざまなテキスト理解および生成タスクにおいて強力なマルチタスク一般化を実証します。
さらに、スマート スピーカーやインスタント メッセージ アプリケーションなど、高速推論を備えた実際のアプリケーションに \modelname を展開します。
私たちのモデルとコードは、ModelScope: https://modelscope.cn/models/damo/ChatPLUG-3.7B および Github: https://github.com/X-PLUG/ChatPLUG で公開されます。

要約(オリジナル)

In this paper, we present ChatPLUG, a Chinese open-domain dialogue system for digital human applications that instruction finetunes on a wide range of dialogue tasks in a unified internet-augmented format. Different from other open-domain dialogue models that focus on large-scale pre-training and scaling up model size or dialogue corpus, we aim to build a powerful and practical dialogue system for digital human with diverse skills and good multi-task generalization by internet-augmented instruction tuning. To this end, we first conduct large-scale pre-training on both common document corpus and dialogue data with curriculum learning, so as to inject various world knowledge and dialogue abilities into ChatPLUG. Then, we collect a wide range of dialogue tasks spanning diverse features of knowledge, personality, multi-turn memory, and empathy, on which we further instruction tune \modelname via unified natural language instruction templates. External knowledge from an internet search is also used during instruction finetuning for alleviating the problem of knowledge hallucinations. We show that \modelname outperforms state-of-the-art Chinese dialogue systems on both automatic and human evaluation, and demonstrates strong multi-task generalization on a variety of text understanding and generation tasks. In addition, we deploy \modelname to real-world applications such as Smart Speaker and Instant Message applications with fast inference. Our models and code will be made publicly available on ModelScope: https://modelscope.cn/models/damo/ChatPLUG-3.7B and Github: https://github.com/X-PLUG/ChatPLUG .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google