Multi-task Collaborative Pre-training and Individual-adaptive-tokens Fine-tuning: A Unified Framework for Brain Representation Learning

要約

構造磁気共鳴画像法 (sMRI) は脳の構造組織の正確な推定を提供し、sMRI から不変の脳表現を学習することは神経科学における永続的な課題です。
これまでの深層表現学習モデルは、人間の認知活動の中核である脳が、主な属性が解剖学である他の器官とは異なるという事実を無視していました。
したがって、個人間の認知変動を支配する意味構造を捉えることが、脳を正確に表現するための鍵となります。
この高レベルの意味情報が脳構造内に微妙で分散しており、相互依存的に潜在していることを考えると、sMRI ベースのモデルはきめ細かい詳細を捕捉し、それらが全体的な全体構造にどのように関連しているかを理解する必要があります。
しかし、既存のモデルは単純な目的によって最適化されており、特徴が均質性を失い、きめの細かい情報と全体的な意味論の同時表現が悪化して、生物学的な妥当性と認知の解釈の欠如を引き起こします。
ここでは、マルチタスクの協調的な事前トレーニングと個別の適応トークンの微調整を組み合わせた統合フレームワークである MCIAT を提案します。
具体的には、まず修復学習、年齢予測補助学習、敵対的学習を深層意味表現学習の共同代理タスクとして合成します。
次に,識別特徴を強調するために相互注意に基づくトークン選択法を提案した。
提案された MCIAT は、いくつかの sMRI ベースのアプローチと比較して、ADHD-200 データセットで最先端の診断パフォーマンスを達成し、MCIC および OASIS データセットで優れた一般化を示します。
さらに、我々は 12 の行動タスクを研究し、認知機能と MCIAT が確立した表現との間に重要な関連性があることを発見し、これにより我々が提案したフレームワークの解釈可能性が検証されました。

要約(オリジナル)

Structural magnetic resonance imaging (sMRI) provides accurate estimates of the brain’s structural organization and learning invariant brain representations from sMRI is an enduring issue in neuroscience. Previous deep representation learning models ignore the fact that the brain, as the core of human cognitive activity, is distinct from other organs whose primary attribute is anatomy. Therefore, capturing the semantic structure that dominates interindividual cognitive variability is key to accurately representing the brain. Given that this high-level semantic information is subtle, distributed, and interdependently latent in the brain structure, sMRI-based models need to capture fine-grained details and understand how they relate to the overall global structure. However, existing models are optimized by simple objectives, making features collapse into homogeneity and worsening simultaneous representation of fine-grained information and holistic semantics, causing a lack of biological plausibility and interpretation of cognition. Here, we propose MCIAT, a unified framework that combines Multi-task Collaborative pre-training and Individual-Adaptive-Tokens fine-tuning. Specifically, we first synthesize restorative learning, age prediction auxiliary learning and adversarial learning as a joint proxy task for deep semantic representation learning. Then, a mutual-attention-based token selection method is proposed to highlight discriminative features. The proposed MCIAT achieves state-of-the-art diagnosis performance on the ADHD-200 dataset compared with several sMRI-based approaches and shows superior generalization on the MCIC and OASIS datasets. Moreover, we studied 12 behavioral tasks and found significant associations between cognitive functions and MCIAT-established representations, which verifies the interpretability of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google