A CNN-Transformer for Classification of Longitudinal 3D MRI Images — A Case Study on Hepatocellular Carcinoma Prediction

要約

縦断的 MRI 解析は、早期発見が治療戦略や患者の予後に大きな影響を与える可能性がある、特に肝細胞癌 (HCC) のような慢性疾患において、疾患の転帰を予測するために極めて重要です。
しかし、入手可能なデータが限られている、実質の微妙な変化、医療スクリーニングのタイミングが不規則であるなどの課題のため、現在のアプローチはこれまで断面画像データに焦点を当ててきました。
これに対処するために、我々は、ConvNeXt CNN アーキテクチャの 3D 適応と Transformer エンコーダを統合した新しいモデル アーキテクチャである HCCNet を提案します。これにより、3D MRI の複雑な空間的特徴と、異なる時点にわたる複雑な時間的依存関係の両方をキャプチャします。
HCCNet は、縦方向の MRI データに合わせて調整された 2 段階の事前トレーニング プロセスを利用します。
CNN バックボーンは、3D MRI に適応した自己教師あり学習フレームワークを使用して事前トレーニングされ、一方、Transformer エンコーダーは、時間の経過に伴う疾患の進行の理解を強化するために配列順序予測タスクで事前トレーニングされます。
私たちは、HCC 監視のために定期的に MRI スクリーニングを受けている肝硬変患者のコホートに HCCNet を適用することにより、HCCNet の有効性を実証します。
私たちの結果は、HCCNet がベースライン モデルに比べて予測精度と信頼性を大幅に向上させ、パーソナライズされた HCC 監視のための堅牢なツールを提供することを示しています。
この論文で示した方法論的アプローチは多用途であり、さまざまな縦方向 MRI スクリーニング アプリケーションに適応できます。
さまざまな患者記録の長さや不規則な検査間隔に対応できるため、慢性疾患をモニタリングするための貴重なフレームワークとして確立されており、効果的な治療計画にはタイムリーで正確な疾患予後が重要です。

要約(オリジナル)

Longitudinal MRI analysis is crucial for predicting disease outcomes, particularly in chronic conditions like hepatocellular carcinoma (HCC), where early detection can significantly influence treatment strategies and patient prognosis. Yet, due to challenges like limited data availability, subtle parenchymal changes, and the irregular timing of medical screenings, current approaches have so far focused on cross-sectional imaging data. To address this, we propose HCCNet, a novel model architecture that integrates a 3D adaptation of the ConvNeXt CNN architecture with a Transformer encoder, capturing both the intricate spatial features of 3D MRIs and the complex temporal dependencies across different time points. HCCNet utilizes a two-stage pre-training process tailored for longitudinal MRI data. The CNN backbone is pre-trained using a self-supervised learning framework adapted for 3D MRIs, while the Transformer encoder is pre-trained with a sequence-order-prediction task to enhance its understanding of disease progression over time. We demonstrate the effectiveness of HCCNet by applying it to a cohort of liver cirrhosis patients undergoing regular MRI screenings for HCC surveillance. Our results show that HCCNet significantly improves predictive accuracy and reliability over baseline models, providing a robust tool for personalized HCC surveillance. The methodological approach presented in this paper is versatile and can be adapted to various longitudinal MRI screening applications. Its ability to handle varying patient record lengths and irregular screening intervals establishes it as an invaluable framework for monitoring chronic diseases, where timely and accurate disease prognosis is critical for effective treatment planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google