Automated clinical coding using off-the-shelf large language models

要約

患者の入院に診断 ICD コードを割り当てるタスクは、通常、専門の人間のコード作成者によって実行されます。
自動化された ICD コーディングへの取り組みは、教師あり深層学習モデルによって占められています。
しかし、多数のまれなコードを予測する方法を学習することの難しさは、依然として臨床現場での採用の障壁となっています。
この作業では、既製の事前トレーニング済み生成大規模言語モデル (LLM) を活用して、ゼロショットおよび少数ショットのコード割り当てに適した実用的なソリューションを開発します。
教師なしの事前トレーニングだけでは、ICD オントロジーと専門的な臨床コーディング タスクの正確な知識が保証されないため、タスクを情報抽出として組み立て、コード化された各概念の説明を提供し、関連する言及を取得するようにモデルに依頼します。
効率性を高めるため、すべてのコードを反復処理するのではなく、ICD オントロジーの階層的な性質を利用して、関連するコードをまばらに検索します。
次に、「メタリファインメント」と呼ぶ第 2 段階では、GPT-4 を利用して、関連するラベルのサブセットを予測として選択します。
ICD コード化された臨床症例文書の CodiEsp データセット上で Llama-2、GPT-3.5、および GPT-4 を使用してメソッドを検証します。
当社のツリー検索手法は、より希少なクラスで最先端のパフォーマンスを実現し、最高のマクロ F1 0.225 を達成する一方で、PLM-ICD のそれぞれ 0.216 および 0.219 と比較して、わずかに低いマイクロ F1 0.157 を達成します。
私たちの知る限り、これはタスク固有の学習を必要としない自動 ICD コーディングの最初の方法です。

要約(オリジナル)

The task of assigning diagnostic ICD codes to patient hospital admissions is typically performed by expert human coders. Efforts towards automated ICD coding are dominated by supervised deep learning models. However, difficulties in learning to predict the large number of rare codes remain a barrier to adoption in clinical practice. In this work, we leverage off-the-shelf pre-trained generative large language models (LLMs) to develop a practical solution that is suitable for zero-shot and few-shot code assignment. Unsupervised pre-training alone does not guarantee precise knowledge of the ICD ontology and specialist clinical coding task, therefore we frame the task as information extraction, providing a description of each coded concept and asking the model to retrieve related mentions. For efficiency, rather than iterating over all codes, we leverage the hierarchical nature of the ICD ontology to sparsely search for relevant codes. Then, in a second stage, which we term ‘meta-refinement’, we utilise GPT-4 to select a subset of the relevant labels as predictions. We validate our method using Llama-2, GPT-3.5 and GPT-4 on the CodiEsp dataset of ICD-coded clinical case documents. Our tree-search method achieves state-of-the-art performance on rarer classes, achieving the best macro-F1 of 0.225, whilst achieving slightly lower micro-F1 of 0.157, compared to 0.216 and 0.219 respectively from PLM-ICD. To the best of our knowledge, this is the first method for automated ICD coding requiring no task-specific learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google