MEDIMP: 3D Medical Images with clinical Prompts from limited tabular data for renal transplantation

要約

タイトル: リミットされた表形式データからの臓器移植のための臨床プロンプト付き医療用3D画像
要約:
– 腎不全に対する腎移植は最も効果的な解決策の1つです。しかし、移植慢性機能不全のリスクが高く、移植失敗につながる恐れがあります。
– 医療画像は、臓器移植の監視において重要な役割を果たしています。しかし、見通しを立てるための堅牢なバイオマーカーを同定することは困難です。
– この研究では、多変量・複雑なデータから強力なバイオマーカーを同定するためのモデルであるMEDIMPを提案しています。MEDIMPは、大規模言語モデル(LLM)の最近の成功から着想を得て構築されたもので、構造的な臨床バイオロジカルデータをテキストプロンプトに変換して、腎臓移植におけるダイナミックコントラスト強調磁気共鳴画像(DCE-MRI)の有意義な多モーダル表現を学習することができます。
– また、LLMから自動テキストデータの拡張を利用して、医療プロンプトを生成するフレームワークを提案しています。
– 限られた可用な多モーダルデータを最も効率的に活用するためのゴールは、移植4年後の移植物または患者の状態の予後に関心を持つことです。
– 限られたデータに対する他の腎臓移植表現の学習手法との比較において、MEDIMPは臨床設定において高い効果を発揮することが証明された。

要約(オリジナル)

Renal transplantation emerges as the most effective solution for end-stage renal disease. Occurring from complex causes, a substantial risk of transplant chronic dysfunction persists and may lead to graft loss. Medical imaging plays a substantial role in renal transplant monitoring in clinical practice. However, graft supervision is multi-disciplinary, notably joining nephrology, urology, and radiology, while identifying robust biomarkers from such high-dimensional and complex data for prognosis is challenging. In this work, taking inspiration from the recent success of Large Language Models (LLMs), we propose MEDIMP — Medical Images with clinical Prompts — a model to learn meaningful multi-modal representations of renal transplant Dynamic Contrast-Enhanced Magnetic Resonance Imaging (DCE MRI) by incorporating structural clinicobiological data after translating them into text prompts. MEDIMP is based on contrastive learning from joint text-image paired embeddings to perform this challenging task. Moreover, we propose a framework that generates medical prompts using automatic textual data augmentations from LLMs. Our goal is to learn meaningful manifolds of renal transplant DCE MRI, interesting for the prognosis of the transplant or patient status (2, 3, and 4 years after the transplant), fully exploiting the limited available multi-modal data most efficiently. Extensive experiments and comparisons with other renal transplant representation learning methods with limited data prove the effectiveness of MEDIMP in a relevant clinical setting, giving new directions toward medical prompts. Our code is available at https://github.com/leomlck/MEDIMP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI