GersteinLab at MEDIQA-Chat 2023: Clinical Note Summarization from Doctor-Patient Conversations through Fine-tuning and In-context Learning

要約

【タイトル】GersteinLabがMEDIQA-Chat 2023で行った医師-患者会話からの臨床的なノートサマリゼーション：ファインチューニングとインコンテキスト学習による

【要約】
– MEDIQA-2023 Dialogue2Noteの共有タスクの両方のサブタスクAとサブタスクBへの取り組みが記載された論文。
– タスクを対話要約の問題として考え、2つのパイプラインを実装した。(a)事前に学習された対話要約モデルとGPT-3のファインチューニング、(b)大規模な言語モデルGPT-4を使用したファーショットインコンテキスト学習（ICL）。
– 両方の方法は、ROUGE-1 F1、BERTScore F1（deberta-xlarge-mnli）、およびBLEURTのスコアが優れており、それぞれ0.4011、0.7058、0.5421を得た。
– RoBERTaとSciBERTベースの分類モデルを使用して、関連するセクションヘッダーを予測する。チームは全体で4位にランクインし、各チームは提出の一環として3つの実行を許可されている。
– ICL GPT-4を介して生成された注釈を使用した専門家の注釈を利用して、ICL GPT-4を介して生成されるノートが他のすべてのベースラインよりも優れていることを示している。
– 提出のコードは利用可能。

要約(オリジナル)

This paper presents our contribution to the MEDIQA-2023 Dialogue2Note shared task, encompassing both subtask A and subtask B. We approach the task as a dialogue summarization problem and implement two distinct pipelines: (a) a fine-tuning of a pre-trained dialogue summarization model and GPT-3, and (b) few-shot in-context learning (ICL) using a large language model, GPT-4. Both methods achieve excellent results in terms of ROUGE-1 F1, BERTScore F1 (deberta-xlarge-mnli), and BLEURT, with scores of 0.4011, 0.7058, and 0.5421, respectively. Additionally, we predict the associated section headers using RoBERTa and SciBERT based classification models. Our team ranked fourth among all teams, while each team is allowed to submit three runs as part of their submission. We also utilize expert annotations to demonstrate that the notes generated through the ICL GPT-4 are better than all other baselines. The code for our submission is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI