MEDIMP: Medical Images and Prompts for renal transplant representation learning

要約

腎移植は、末期腎疾患の最も効果的な解決策として浮上しています。
複雑な原因から発生すると、移植片の慢性的な機能障害のリスクが持続し、移植片の喪失につながる可能性があります。
医用画像は、臨床診療における腎移植のモニタリングにおいて重要な役割を果たします。
ただし、移植片の監視は学際的であり、特に腎臓学、泌尿器科、放射線科が参加していますが、予後のためにこのような高次元で複雑なデータから堅牢なバイオマーカーを特定することは困難です。
この作業では、Large Language Models (LLM) の最近の成功から着想を得て、MEDIMP (Medical Images and Prompts) を提案します。これは、腎移植の意味のあるマルチモーダル表現を学習するためのモデルです。Dynamic Contrast-Enhanced Magnetic Resonance Imaging (DCE)
MRI) 構造臨床生物学的データをテキスト プロンプトに変換した後に組み込むことによって。
MEDIMP は、この困難なタスクを実行するために、テキストと画像の組み合わせの埋め込みからの対照的な学習に基づいています。
さらに、LLM からの自動テキスト データ拡張を使用して医療プロンプトを生成するフレームワークを提案します。
私たちの目標は、移植または患者の状態 (移植後 2、3、および 4 年) の予後にとって興味深い、腎移植 DCE MRI の意味のある多様体を学習し、利用可能なマルチモーダル データを最も効率的な方法で十分に活用することです。
広範な実験と限られたデータを使用した他の腎移植表現学習方法との比較により、関連する臨床環境における MEDIMP の有効性が証明され、医療プロンプトに対する新しい方向性が示されます。
コードは https://github.com/leomlck/MEDIMP で入手できます。

要約(オリジナル)

Renal transplantation emerges as the most effective solution for end-stage renal disease. Occurring from complex causes, a substantial risk of transplant chronic dysfunction persists and may lead to graft loss. Medical imaging plays a substantial role in renal transplant monitoring in clinical practice. However, graft supervision is multi-disciplinary, notably joining nephrology, urology, and radiology, while identifying robust biomarkers from such high-dimensional and complex data for prognosis is challenging. In this work, taking inspiration from the recent success of Large Language Models (LLMs), we propose MEDIMP — Medical Images and Prompts — a model to learn meaningful multi-modal representations of renal transplant Dynamic Contrast-Enhanced Magnetic Resonance Imaging (DCE MRI) by incorporating structural clinicobiological data after translating them into text prompts. MEDIMP is based on contrastive learning from joint text-image paired embeddings to perform this challenging task. Moreover, we propose a framework that generates medical prompts using automatic textual data augmentations from LLMs. Our goal is to learn meaningful manifolds of renal transplant DCE MRI, interesting for the prognosis of the transplant or patient status (2, 3, and 4 years after the transplant), fully exploiting the available multi-modal data in the most efficient way. Extensive experiments and comparisons with other renal transplant representation learning methods with limited data prove the effectiveness of MEDIMP in a relevant clinical setting, giving new directions toward medical prompts. Our code is available at https://github.com/leomlck/MEDIMP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google