UMASS_BioNLP at MEDIQA-Chat 2023: Can LLMs generate high-quality synthetic note-oriented doctor-patient conversations?

要約

このペーパーでは、タスク A とタスク C の MEDIQA-Chat 2023 共有タスクへの UMASS_BioNLP チームの参加について説明します。
私たちは特に Task-C に焦点を当て、高品質な会話データセットを生成するための医師患者ループと呼ばれる新しい LLM 連携システムを提案します。
実験結果は、ROUGE、医療概念想起、BLEU、Self-BLEU などの自動指標によって評価されるように、私たちのアプローチが妥当なパフォーマンスをもたらすことを示しています。
さらに、提案手法とChatGPTおよびGPT-4との比較解析を行った。
この分析では、連携 LLM を利用して高品質のデータセットを生成する可能性も調査します。

要約(オリジナル)

This paper presents UMASS_BioNLP team participation in the MEDIQA-Chat 2023 shared task for Task-A and Task-C. We focus especially on Task-C and propose a novel LLMs cooperation system named a doctor-patient loop to generate high-quality conversation data sets. The experiment results demonstrate that our approaches yield reasonable performance as evaluated by automatic metrics such as ROUGE, medical concept recall, BLEU, and Self-BLEU. Furthermore, we conducted a comparative analysis between our proposed method and ChatGPT and GPT-4. This analysis also investigates the potential of utilizing cooperation LLMs to generate high-quality datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google