Exploring LLM Multi-Agents for ICD Coding

要約

国際疾病分類 (ICD) コーディング タスクにおける大規模言語モデル (LLM) の限界に対処するため。LLM は、ICD コードの高次元で偏った分布により不正確で不完全な予測結果を生成することが多く、解釈可能性が欠けていることがよくあります。
そして信頼性も。
我々は、現実世界の設定における ICD コーディング割り当て手順を模倣する、ICD コーディングのための革新的なマルチエージェント アプローチを導入します。このアプローチは、患者、医師、コーダー、レビュー担当者、査定人の 5 つの異なるエージェントで構成されます。
各エージェントは、コーディング プロセス内での特定の役割に合わせて調整された LLM ベースのモデルを利用します。
また、システムを電子医療記録 (HER) の SOAP (主観、客観、評価、計画) 構造と統合して、パフォーマンスを向上させます。
私たちの方法を、LLM および他の強力なベースラインのみによって設計されたエージェントのシステムと比較し、集中治療用医療情報マート III (MIMIC-III) データセットを使用して評価します。
当社のマルチエージェント コーディング フレームワークは、一般的およびまれな I​​CD コードのコーディングにおいて、ゼロショット思考連鎖 (CoT) プロンプトおよび CoT との自己一貫性 (CoT-SC) を大幅に上回ります。
アブレーション研究では、指定されたエージェントの役割の有効性が検証されます。
また、LLM で設計されたエージェント システムよりも優れたパフォーマンスを発揮します。
さらに、私たちの方法は、大規模な事前トレーニングや微調整を必要とする最先端の ICD コーディング方法と同等の結果を達成し、まれなコードの精度と説明可能性の点でそれらを上回ります。
さらに、一般的またはまれな I​​CD コード制約によって制限されないシナリオでのパフォーマンスを提示することで、この方法の実際の適用可能性を実証します。 ICD コーディング用に提案されたマルチエージェント手法は、現実世界のコーディング プロセスを効果的に模倣し、一般的およびまれな両方でパフォーマンスを向上させます。
コード。

要約(オリジナル)

To address the limitations of Large Language Models (LLMs) in the International Classification of Diseases (ICD) coding task, where they often produce inaccurate and incomplete prediction results due to the high-dimensional and skewed distribution of the ICD codes, and often lack interpretability and reliability as well. We introduce an innovative multi-agent approach for ICD coding which mimics the ICD coding assignment procedure in real-world settings, comprising five distinct agents: the patient, physician, coder, reviewer, and adjuster. Each agent utilizes an LLM-based model tailored to their specific role within the coding process. We also integrate the system with Electronic Health Record (HER)’s SOAP (subjective, objective, assessment and plan) structure to boost the performances. We compare our method with a system of agents designed solely by LLMs and other strong baselines and evaluate it using the Medical Information Mart for Intensive Care III (MIMIC-III) dataset. Our multi-agent coding framework significantly outperforms Zero-shot Chain of Thought (CoT) prompting and self-consistency with CoT (CoT-SC) in coding common and rare ICD codes. An ablation study validates the effectiveness of the designated agent roles. it also outperforms the LLM-designed agent system. Moreover, our method achieves comparable results to state-of-the-art ICD coding methods that require extensive pre-training or fine-tuning, and outperforms them in rare code accuracy, and explainability. Additionally, we demonstrate the method’s practical applicability by presenting its performance in scenarios not limited by the common or rare ICD code constraints.The proposed multi-agent method for ICD coding effectively mimics the real-world coding process and improves performance on both common and rare codes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google