A Multimodal Deep Learning Approach for White Matter Shape Prediction in Diffusion MRI Tractography

要約

形状の測定は、白質トラクトグラフィーの有望な記述子として浮上しており、認知的および臨床表現型との解剖学的変動性と関連性に関する補完的な洞察を提供しています。
ただし、形状測定を計算するための従来の方法は、ボクセルベースの表現に依存しているため、大規模なデータセットでは計算的に高価であり、時間がかかります。
Tract2shapeを提案します。これは、幾何学（ポイントクラウド）とスカラー（表の）機能を活用して、10の白質トラクトグラフィー形状測定を予測する新しいマルチモーダルディープラーニングフレームワークを提案します。
モデルの効率を高めるために、モデルの次元削減アルゴリズムを利用して、5つの主要な形状コンポーネントを予測します。
モデルは、2つの独立して取得したデータセット、HCP-YAデータセット、およびPPMIデータセットでトレーニングおよび評価されます。
HCP-YAデータセットでトレーニングおよびテストし、結果を最先端のモデルと比較することにより、Tract2shapeのパフォーマンスを評価します。
その堅牢性と一般化能力をさらに評価するために、目に見えないPPMIデータセットでTract2shapeもテストします。
TRACT2SHAPEは、10の形状すべての測定すべてにわたってSOTAディープラーニングモデルを上回り、HCP-YAデータセットで最も平均的なピアソンのRと最低NMSEを達成します。
アブレーション研究は、マルチモーダル入力とPCAの両方がパフォーマンスの向上に寄与することを示しています。
目に見えないテストPPMIデータセットでは、TRACT2SHAPEはピアソンのRと低いNMSEを維持し、クロスダタセット評価の強力な一般化可能性を示しています。
tract2shapeを有効にして、データセット全体でスケーラブルな分析をサポートする、トラクトグラフィデータからの白質形状測定の高速で正確で一般化可能な予測を可能にします。
このフレームワークは、将来の大規模な白質形状分析のための有望な基盤を築きます。

要約(オリジナル)

Shape measures have emerged as promising descriptors of white matter tractography, offering complementary insights into anatomical variability and associations with cognitive and clinical phenotypes. However, conventional methods for computing shape measures are computationally expensive and time-consuming for large-scale datasets due to reliance on voxel-based representations. We propose Tract2Shape, a novel multimodal deep learning framework that leverages geometric (point cloud) and scalar (tabular) features to predict ten white matter tractography shape measures. To enhance model efficiency, we utilize a dimensionality reduction algorithm for the model to predict five primary shape components. The model is trained and evaluated on two independently acquired datasets, the HCP-YA dataset, and the PPMI dataset. We evaluate the performance of Tract2Shape by training and testing it on the HCP-YA dataset and comparing the results with state-of-the-art models. To further assess its robustness and generalization ability, we also test Tract2Shape on the unseen PPMI dataset. Tract2Shape outperforms SOTA deep learning models across all ten shape measures, achieving the highest average Pearson’s r and the lowest nMSE on the HCP-YA dataset. The ablation study shows that both multimodal input and PCA contribute to performance gains. On the unseen testing PPMI dataset, Tract2Shape maintains a high Pearson’s r and low nMSE, demonstrating strong generalizability in cross-dataset evaluation. Tract2Shape enables fast, accurate, and generalizable prediction of white matter shape measures from tractography data, supporting scalable analysis across datasets. This framework lays a promising foundation for future large-scale white matter shape analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google