Can open source large language models be used for tumor documentation in Germany? — An evaluation on urological doctors’ notes

要約

ドイツの腫瘍文書は、主に手動で行われており、患者の記録を読んで構造化されたデータベースにデータを入力する必要があります。
大規模な言語モデル（LLMS）は、効率と信頼性を向上させることにより、このプロセスを潜在的に強化する可能性があります。
この評価では、腫瘍文書化プロセスの3つの基本タスクに関する1〜700億のモデルパラメーターの範囲のサイズの11の異なるオープンソースLLMをテストします。腫瘍診断の識別、ICD-10コードの割り当て、および最初の診断の日付を抽出します。
これらのタスクでLLMを評価するために、泌尿器科からの匿名化された医師のメモに基づいた注釈付きテキストスニペットのデータセットが準備されました。
さまざまなプロンプト戦略を使用して、少数のショットプロンプトにおける例の数の効果を調査し、一般的なLLMの機能を調査しました。
モデルLlama 3.1 8b、Mistral 7b、およびMistral Nemo 12 Bは、タスクで同等に機能しました。
トレーニングデータが少ない、または70億未満のパラメーターを持つモデルは、パフォーマンスが顕著に低いことを示しましたが、より大きなモデルではパフォーマンスの向上は表示されませんでした。
泌尿器科とは異なる医療ドメインの例は、少数のショットプロンプトの結果を改善する可能性もあり、これはLLMが腫瘍の文書化に必要なタスクを処理する能力を示しています。
オープンソースLLMSは、腫瘍の文書を自動化するための強力な可能性を示しています。
7〜120億パラメーターのモデルは、パフォーマンスとリソースの効率の間の最適なバランスを提供できます。
調整された微調整と適切に設計されたプロンプトにより、これらのモデルは将来の臨床文書化のための重要なツールになる可能性があります。
評価のコードは、https：//github.com/stefan-m-lenz/urollmevalから入手できます。
また、ドイツ語の医療NLPで本物で簡単にアクセス可能なベンチマークの不足に対処する新しい貴重なリソースとしてデータセットをリリースします。

要約(オリジナル)

Tumor documentation in Germany is largely done manually, requiring reading patient records and entering data into structured databases. Large language models (LLMs) could potentially enhance this process by improving efficiency and reliability. This evaluation tests eleven different open source LLMs with sizes ranging from 1-70 billion model parameters on three basic tasks of the tumor documentation process: identifying tumor diagnoses, assigning ICD-10 codes, and extracting the date of first diagnosis. For evaluating the LLMs on these tasks, a dataset of annotated text snippets based on anonymized doctors’ notes from urology was prepared. Different prompting strategies were used to investigate the effect of the number of examples in few-shot prompting and to explore the capabilities of the LLMs in general. The models Llama 3.1 8B, Mistral 7B, and Mistral NeMo 12 B performed comparably well in the tasks. Models with less extensive training data or having fewer than 7 billion parameters showed notably lower performance, while larger models did not display performance gains. Examples from a different medical domain than urology could also improve the outcome in few-shot prompting, which demonstrates the ability of LLMs to handle tasks needed for tumor documentation. Open source LLMs show a strong potential for automating tumor documentation. Models from 7-12 billion parameters could offer an optimal balance between performance and resource efficiency. With tailored fine-tuning and well-designed prompting, these models might become important tools for clinical documentation in the future. The code for the evaluation is available from https://github.com/stefan-m-lenz/UroLlmEval. We also release the dataset as a new valuable resource that addresses the shortage of authentic and easily accessible benchmarks in German-language medical NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google