SuryaKiran at MEDIQA-Sum 2023: Leveraging LoRA for Clinical Dialogue Summarization

要約

大規模言語モデルを微調整すると、ドメイン固有のユースケースの結果を向上させることができます。
大規模な言語モデルのエンドツーエンドの微調整は時間とリソースを大量に消費し、大規模な言語モデルの微調整されたバージョンを保存するには高いストレージ要件が必要になります。
Parameter Efficient Fine Tuning (PEFT) メソッドは、大規模な言語モデルを固定ベースとして維持し、PEFT メソッドが微調整する追加のレイヤーを追加することで、時間とリソースの課題に対処します。
この論文では、臨床対話要約のための PEFT 手法の 1 つである低ランク適応 (LoRA) の評価結果を示します。
評価結果は、LoRA が大規模な言語モデルのエンドツーエンドの微調整と同等に機能することを示しています。
この論文は、ImageCLEFmedical {https://www.imageclef.org/2023/medical} のサブタスク A と B の両方を解決するために行われた評価を示しています。

要約(オリジナル)

Finetuning Large Language Models helps improve the results for domain-specific use cases. End-to-end finetuning of large language models is time and resource intensive and has high storage requirements to store the finetuned version of the large language model. Parameter Efficient Fine Tuning (PEFT) methods address the time and resource challenges by keeping the large language model as a fixed base and add additional layers, which the PEFT methods finetune. This paper demonstrates the evaluation results for one such PEFT method Low Rank Adaptation (LoRA), for Clinical Dialogue Summarization. The evaluation results show that LoRA works at par with end-to-end finetuning for a large language model. The paper presents the evaluations done for solving both the Subtask A and B from ImageCLEFmedical {https://www.imageclef.org/2023/medical}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google