Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain

要約

グラフニューラルネットワーク（GNNS）は、表現型を人間の脳ネットワークと区別するための動的な機能的接続性を学習することに有望を示しています。
ただし、トレーニングのために広範なラベル付けされた臨床データを取得することは、多くの場合、リソース集約的であり、実用的なアプリケーションを困難にしています。
したがって、ラベルのないデータをレバレッジすることは、ラベルスカース設定での表現学習に重要になります。
生成的な自己監視学習技術、特にマスクされた自動エンコーダーは、さまざまなドメインでの表現学習において有望な結果を示していますが、動的な機能的接続の動的グラフへの適用は、高レベルのセマンティック表現をキャプチャする際の課題に直面している依然として未熟に依存しています。
ここでは、コンピュータービジョンにジョイント埋め込み予測アーキテクチャ（JEPA）からインスピレーションを得て、時空間関節埋め込みマスクされた自動エンコーダー（ST-JEMA）を紹介します。
ST-JEMAは、JEPAに触発された動的グラフを再構築するための戦略を採用しています。これにより、時間的視点を考慮した高レベルのセマンティック表現の学習が可能になり、fMRIデータ表現学習の課題に対処します。
自己監視学習のための大規模な英国のバイオバンクデータセットを利用して、ST-JEMAは、8つのベンチマークFMRIデータセットにわたって表現型と精神診断を予測する際の以前の方法よりも優位性を示す動的な機能的接続性に関する例外的な表現パフォーマンスを示しています。
これらの調査結果は、ラベルサースFMRIデータを活用するための堅牢な表現学習方法としてのアプローチの可能性を強調しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have shown promise in learning dynamic functional connectivity for distinguishing phenotypes from human brain networks. However, obtaining extensive labeled clinical data for training is often resource-intensive, making practical application difficult. Leveraging unlabeled data thus becomes crucial for representation learning in a label-scarce setting. Although generative self-supervised learning techniques, especially masked autoencoders, have shown promising results in representation learning in various domains, their application to dynamic graphs for dynamic functional connectivity remains underexplored, facing challenges in capturing high-level semantic representations. Here, we introduce the Spatio-Temporal Joint Embedding Masked Autoencoder (ST-JEMA), drawing inspiration from the Joint Embedding Predictive Architecture (JEPA) in computer vision. ST-JEMA employs a JEPA-inspired strategy for reconstructing dynamic graphs, which enables the learning of higher-level semantic representations considering temporal perspectives, addressing the challenges in fMRI data representation learning. Utilizing the large-scale UK Biobank dataset for self-supervised learning, ST-JEMA shows exceptional representation learning performance on dynamic functional connectivity demonstrating superiority over previous methods in predicting phenotypes and psychiatric diagnoses across eight benchmark fMRI datasets even with limited samples and effectiveness of temporal reconstruction on missing data scenarios. These findings highlight the potential of our approach as a robust representation learning method for leveraging label-scarce fMRI data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google