A Deep Network for Explainable Prediction of Non-Imaging Phenotypes using Anatomical Multi-View Data

要約

大規模なデータセットには、結果を改善するためにマルチビュー学習方法で活用できる補完的な情報を提供する複数の個別の特徴セット (ビュー) が含まれることがよくあります。
私たちは、各脳の解剖学的構造が複数の特徴セットで記述されている解剖学的多視点データを調査します。
特に、拡散 MRI からの白質微細構造と接続性の特徴のセット、および構造 MRI からの灰白質領域と厚さの特徴のセットに焦点を当てます。
私たちは、人口動態 (年齢)、運動能力 (筋力)、認知力 (画像語彙) などの非画像表現型の予測を改善するために、多視点アプローチを適用する機械学習方法論を研究しています。
さまざまな解剖学的ビューを使用して予測パフォーマンスを向上させることができる説明可能なマルチビュー ネットワーク (EMV-Net) を紹介します。
このネットワークでは、個々の解剖学的ビューがビュー固有の特徴抽出器によって処理され、各ビューから抽出された情報が学習可能な重みを使用して融合されます。
これに続いて、ウェーブレット変換ベースのモジュールがビュー全体にわたる相補的な情報を取得し、ビュー固有の情報を調整するために適用されます。
さらに、キャリブレーターは、解釈における解剖学的構造の重要性を示す注意ベースのキャリブレーション スコアを生成します。

要約(オリジナル)

Large datasets often contain multiple distinct feature sets, or views, that offer complementary information that can be exploited by multi-view learning methods to improve results. We investigate anatomical multi-view data, where each brain anatomical structure is described with multiple feature sets. In particular, we focus on sets of white matter microstructure and connectivity features from diffusion MRI, as well as sets of gray matter area and thickness features from structural MRI. We investigate machine learning methodology that applies multi-view approaches to improve the prediction of non-imaging phenotypes, including demographics (age), motor (strength), and cognition (picture vocabulary). We present an explainable multi-view network (EMV-Net) that can use different anatomical views to improve prediction performance. In this network, each individual anatomical view is processed by a view-specific feature extractor and the extracted information from each view is fused using a learnable weight. This is followed by a wavelet transform-based module to obtain complementary information across views which is then applied to calibrate the view-specific information. Additionally, the calibrator produces an attention-based calibration score to indicate anatomical structures’ importance for interpretation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google