Fine-Tuning LLMs on Small Medical Datasets: Text Classification and Normalization Effectiveness on Cardiology reports and Discharge records

要約

テキスト分類および指定されたエンティティ認識タスクのために、小さな医療データセットで大規模な言語モデル（LLM）を微調整する有効性を調査します。
ドイツの心臓病レポートデータセットとI2B2喫煙チャレンジデータセットを使用して、限られたトレーニングデータで局所的に小型LLMを微調整すると、パフォーマンスが改善され、より大きなモデルに匹敵する結果を達成できることを実証します。
私たちの実験は、微調整が両方のタスクのパフォーマンスを改善することを示しており、顕著な利益は200〜300のトレーニングの例で観察されます。
全体として、この研究は、臨床ワークフローを自動化し、非構造化された医療テキストから構造化データを効率的に抽出するためのLLMのタスク固有の微調整の可能性を強調しています。

要約(オリジナル)

We investigate the effectiveness of fine-tuning large language models (LLMs) on small medical datasets for text classification and named entity recognition tasks. Using a German cardiology report dataset and the i2b2 Smoking Challenge dataset, we demonstrate that fine-tuning small LLMs locally on limited training data can improve performance achieving comparable results to larger models. Our experiments show that fine-tuning improves performance on both tasks, with notable gains observed with as few as 200-300 training examples. Overall, the study highlights the potential of task-specific fine-tuning of LLMs for automating clinical workflows and efficiently extracting structured data from unstructured medical text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google