Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review and Replicability Study

要約

タイトル：MIMIC-IIIおよびMIMIC-IVにおける自動医療コーディングの批判的レビューと再現性研究

要約：

・医療コーディングは、臨床のフリーテキストの文書に医療コードを割り当てるタスクである。
・医療の専門家は、患者の診断や治療を追跡するために、このようなコードを手動で割り当てる。
・自動化された医療コーディングは、この管理的な負担を大幅に軽減できる。
・本論文では、最新の自動医療コーディングの機械学習モデルを再現、比較、分析する。
・いくつかのモデルが、弱い構成、不十分なトレイン・テスト分割、および不十分な評価のために性能が低下していることを示す。
・以前の研究では、マクロF1スコアがサブオプティマルに計算されており、訂正によって倍増した。
・本論文では層別サンプリングや同一の実験セットアップ、ハイパーパラメータや決定境界のチューニングを含む改訂されたモデル比較を貢献する。
・予測エラーを分析して、以前の研究の仮定を検証し、偽造する。
・分析は、すべてのモデルが稀なコードに苦戦していることを確認し、長い文書がほとんど影響を与えないことを示した。
・最後に、再現モデルを使用して、新しくリリースされたMIMIC-IVデータセットに関する最初の包括的な結果を提示する。
・公正な将来の比較に対応するために、コード、モデルパラメータ、および新しいMIMIC-IIIおよびMIMIC-IVトレーニングおよび評価パイプラインを公開する。

要約(オリジナル)

Medical coding is the task of assigning medical codes to clinical free-text documentation. Healthcare professionals manually assign such codes to track patient diagnoses and treatments. Automated medical coding can considerably alleviate this administrative burden. In this paper, we reproduce, compare, and analyze state-of-the-art automated medical coding machine learning models. We show that several models underperform due to weak configurations, poorly sampled train-test splits, and insufficient evaluation. In previous work, the macro F1 score has been calculated sub-optimally, and our correction doubles it. We contribute a revised model comparison using stratified sampling and identical experimental setups, including hyperparameters and decision boundary tuning. We analyze prediction errors to validate and falsify assumptions of previous works. The analysis confirms that all models struggle with rare codes, while long documents only have a negligible impact. Finally, we present the first comprehensive results on the newly released MIMIC-IV dataset using the reproduced models. We release our code, model parameters, and new MIMIC-III and MIMIC-IV training and evaluation pipelines to accommodate fair future comparisons.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI