Utilizing Longitudinal Chest X-Rays and Reports to Pre-Fill Radiology Reports

要約

音声認識ソフトウェアの使用により放射線科レポートの所要時間は短縮されましたが、継続的な通信エラーは放射線科レポートの解釈に大きな影響を与える可能性があります。
放射線医学レポートの事前入力はレポートの誤りを軽減する上で有望であり、医療レポートを作成するための文献における取り組みにもかかわらず、MIMIC-CXR データセット内の患者の訪問記録の長期的な性質を利用するアプローチが不足しています。
このギャップに対処するために、我々は、長期的なマルチモーダルデータ、つまり、以前の患者訪問CXR、現在の訪問CXR、および以前の訪問レポートを使用して、現在の患者訪問レポートの「所見」セクションを事前に記入することを提案します。
まず、MIMIC-CXR データセットから 26,625 人の患者の縦断的な訪問情報を収集し、Longitudinal-MIMIC と呼ばれる新しいデータセットを作成しました。
この新しいデータセットを使用して、クロスアテンションベースのマルチモーダル融合モジュールと階層型メモリ駆動型を介して、マルチモーダルデータ (CXR 画像 + レポート) を含む長期的な患者訪問記録から情報を取得するようにトランスフォーマーベースのモデルがトレーニングされました。
デコーダ。
モデルをトレーニングするための入力として現在の訪問データのみを使用する以前の研究とは対照的に、私たちの研究では、放射線医学レポートの「所見」セクションを事前に入力するために利用可能な長期的な情報を活用しています。
実験では、私たちのアプローチが最近のいくつかのアプローチよりも優れていることが示されています。
コードは https://github.com/CelestialShine/Longitudinal-Chest-X-Ray で公開されます。

要約(オリジナル)

Despite the reduction in turn-around times in radiology reports with the use of speech recognition software, persistent communication errors can significantly impact the interpretation of the radiology report. Pre-filling a radiology report holds promise in mitigating reporting errors, and despite efforts in the literature to generate medical reports, there exists a lack of approaches that exploit the longitudinal nature of patient visit records in the MIMIC-CXR dataset. To address this gap, we propose to use longitudinal multi-modal data, i.e., previous patient visit CXR, current visit CXR, and previous visit report, to pre-fill the ‘findings’ section of a current patient visit report. We first gathered the longitudinal visit information for 26,625 patients from the MIMIC-CXR dataset and created a new dataset called Longitudinal-MIMIC. With this new dataset, a transformer-based model was trained to capture the information from longitudinal patient visit records containing multi-modal data (CXR images + reports) via a cross-attention-based multi-modal fusion module and a hierarchical memory-driven decoder. In contrast to previous work that only uses current visit data as input to train a model, our work exploits the longitudinal information available to pre-fill the ‘findings’ section of radiology reports. Experiments show that our approach outperforms several recent approaches. Code will be published at https://github.com/CelestialShine/Longitudinal-Chest-X-Ray.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google