CASHformer: Cognition Aware SHape Transformer for Longitudinal Analysis

要約

皮質下構造の時間的変化をモデル化することは、アルツハイマー病（AD）の進行の理解を深めるために極めて重要である。海馬の時間的変形を予測するために、異種配列長に適応する柔軟性を持つメッシュベースのトランスフォーマーアーキテクチャが過去に提案されている。しかし、トランスフォーマーの主な制約の1つは、学習可能なパラメータが大量にあるため、小規模なデータセットへの適用が非常に困難であることです。また、現在の手法では、ADに関連する進行パターンを特定するのに役立つ、関連する非画像情報を含んでいません。この目的のために、我々はADの縦方向の形状軌跡をモデル化するための変換器ベースのフレームワークであるCASHformerを紹介する。CASHformerは、微調整の際にほとんどの層を凍結することにより、幅広いタスクに汎化する普遍的な計算エンジンとして、事前に訓練された変換器のアイデアを取り入れている。これにより、元のモデルに対して90%以上のパラメータ数を削減できるため、小さなデータセットに対して大規模なモデルをオーバーフィットさせることなく適用することが可能になります。さらに、CASHformerは認知機能の低下をモデル化し、ADの萎縮パターンを時系列に明らかにします。その結果、CASHformerはこれまでに提案された手法と比較して、再構成誤差を73%低減することができた。さらに、欠損した縦断的形状データをインピューティングすることで、ADに進行する患者の検出精度が3%向上する。

要約(オリジナル)

Modeling temporal changes in subcortical structures is crucial for a better understanding of the progression of Alzheimer’s disease (AD). Given their flexibility to adapt to heterogeneous sequence lengths, mesh-based transformer architectures have been proposed in the past for predicting hippocampus deformations across time. However, one of the main limitations of transformers is the large amount of trainable parameters, which makes the application on small datasets very challenging. In addition, current methods do not include relevant non-image information that can help to identify AD-related patterns in the progression. To this end, we introduce CASHformer, a transformer-based framework to model longitudinal shape trajectories in AD. CASHformer incorporates the idea of pre-trained transformers as universal compute engines that generalize across a wide range of tasks by freezing most layers during fine-tuning. This reduces the number of parameters by over 90% with respect to the original model and therefore enables the application of large models on small datasets without overfitting. In addition, CASHformer models cognitive decline to reveal AD atrophy patterns in the temporal sequence. Our results show that CASHformer reduces the reconstruction error by 73% compared to previously proposed methods. Moreover, the accuracy of detecting patients progressing to AD increases by 3% with imputing missing longitudinal shape data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL