Can open source large language models be used for tumor documentation in Germany? — An evaluation on urological doctors’ notes

要約

ドイツにおける腫瘍の記録は主に手作業で行われており、患者記録を読み取って構造化データベースにデータを入力する必要があります。
大規模言語モデル (LLM) は、効率と信頼性を向上させることでこのプロセスを強化できる可能性があります。
この評価では、腫瘍診断の特定、ICD-10 コードの割り当て、最初の診断日の抽出という腫瘍文書化プロセスの 3 つの基本タスクに関して、サイズが 10 ～ 700 億のモデル パラメーターを持つ 11 の異なるオープンソース LLM をテストします。
これらのタスクに関する LLM を評価するために、泌尿器科からの匿名化された医師のメモに基づいた注釈付きテキスト スニペットのデータセットが準備されました。
さまざまなプロンプト戦略を使用して、少数ショット プロンプトにおける例の数の影響を調査し、LLM の機能全般を調査しました。
モデル Llama 3.1 8B、Mistral 7B、および Mistral NeMo 12 B は、タスクにおいて比較的良好なパフォーマンスを示しました。
トレーニング データの量が少ないモデルやパラメーターの数が 70 億未満のモデルでは、パフォーマンスが著しく低下しましたが、大規模なモデルではパフォーマンスの向上が見られませんでした。
泌尿器科とは異なる医療領域の例も、数回のプロンプトでの結果を改善する可能性があり、腫瘍の記録に必要なタスクを処理する LLM の能力を示しています。
オープンソース LLM は、腫瘍の文書化を自動化する強力な可能性を示しています。
70 ～ 120 億のパラメータからなるモデルは、パフォーマンスとリソース効率の最適なバランスを提供できます。
カスタマイズされた微調整と適切に設計されたプロンプトを備えたこれらのモデルは、将来的には臨床文書化のための重要なツールとなる可能性があります。
評価用のコードは https://github.com/stefan-m-lenz/UroLlmEval から入手できます。
また、ドイツ語の医療 NLP における本物で簡単にアクセスできるベンチマークの不足に対処する、新しい貴重なリソースとしてデータセットをリリースします。

要約(オリジナル)

Tumor documentation in Germany is largely done manually, requiring reading patient records and entering data into structured databases. Large language models (LLMs) could potentially enhance this process by improving efficiency and reliability. This evaluation tests eleven different open source LLMs with sizes ranging from 1-70 billion model parameters on three basic tasks of the tumor documentation process: identifying tumor diagnoses, assigning ICD-10 codes, and extracting the date of first diagnosis. For evaluating the LLMs on these tasks, a dataset of annotated text snippets based on anonymized doctors’ notes from urology was prepared. Different prompting strategies were used to investigate the effect of the number of examples in few-shot prompting and to explore the capabilities of the LLMs in general. The models Llama 3.1 8B, Mistral 7B, and Mistral NeMo 12 B performed comparably well in the tasks. Models with less extensive training data or having fewer than 7 billion parameters showed notably lower performance, while larger models did not display performance gains. Examples from a different medical domain than urology could also improve the outcome in few-shot prompting, which demonstrates the ability of LLMs to handle tasks needed for tumor documentation. Open source LLMs show a strong potential for automating tumor documentation. Models from 7-12 billion parameters could offer an optimal balance between performance and resource efficiency. With tailored fine-tuning and well-designed prompting, these models might become important tools for clinical documentation in the future. The code for the evaluation is available from https://github.com/stefan-m-lenz/UroLlmEval. We also release the dataset as a new valuable resource that addresses the shortage of authentic and easily accessible benchmarks in German-language medical NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google