CMed-GPT: Prompt Tuning for Entity-Aware Chinese Medical Dialogue Generation

要約

医療対話の生成は、自然言語生成技術に依存して、オンライン医療相談を可能にします。
最近、自然言語処理の分野で大規模モデルが広く採用され、この技術の急速な進歩が促進されています。
既存の医療対話モデルは主に BERT に基づいており、英語コーパスで事前トレーニングされていますが、中国語の医療対話生成タスクに関しては高性能のモデルが不足しています。
上記の問題を解決するために、本論文は、中国の医学ドメインテキストに基づくGPT事前トレーニング言語モデルであるCMed-GPTを提案する。
このモデルには、ベースとラージの 2 つのバージョンがあり、対応するパープレキシティ値は 8.64 と 8.01 です。
さらに、下流の対話生成タスクの要件を満たすために、統一された方法で語彙およびエンティティの埋め込みを対話テキストに組み込みます。
ファインチューニングと p チューニングの両方を CMed-GPT に適用することで、PPL を 8.44 から 7.35 に下げました。
この研究は、中国語の生物医学テキストの生成における CMed-GPT モデルの卓越したパフォーマンスを確認するだけでなく、接頭語プロンプトを使用した従来の微調整に対する p チューニングの利点も強調しています。
さらに、医療対話生成に外部情報を組み込むことの重要性を検証し、対話生成の品質を向上させます。

要約(オリジナル)

Medical dialogue generation relies on natural language generation techniques to enable online medical consultations. Recently, the widespread adoption of large-scale models in the field of natural language processing has facilitated rapid advancements in this technology. Existing medical dialogue models are mostly based on BERT and pre-trained on English corpora, but there is a lack of high-performing models on the task of Chinese medical dialogue generation. To solve the above problem, this paper proposes CMed-GPT, which is the GPT pre-training language model based on Chinese medical domain text. The model is available in two versions, namely, base and large, with corresponding perplexity values of 8.64 and 8.01. Additionally, we incorporate lexical and entity embeddings into the dialogue text in a uniform manner to meet the requirements of downstream dialogue generation tasks. By applying both fine-tuning and p-tuning to CMed-GPT, we lowered the PPL from 8.44 to 7.35. This study not only confirms the exceptional performance of the CMed-GPT model in generating Chinese biomedical text but also highlights the advantages of p-tuning over traditional fine-tuning with prefix prompts. Furthermore, we validate the significance of incorporating external information in medical dialogue generation, which enhances the quality of dialogue generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google