Multimodal and multicontrast image fusion via deep generative models

要約

最近、古典的な診断ラベルでは、いくつかの臨床表現型の複雑さと変動性を確実に説明できないことが次第に明らかになりました。
これは、広範囲の神経精神疾患 (例えば、うつ病、不安障害、行動表現型) に特に当てはまります。
患者の異質性は、従来のカテゴリーの境界を越えてまたがる交差する連続体の経験的に導き出されたセクションに基づいて、個人を新しいカテゴリーにグループ化することによって、より適切に説明できます。
この文脈では、神経画像データは、各患者の脳に関する時空間的に解決された豊富な情報を運びます。
ただし、それらは通常、モデル トレーニングの一部として学習されない手順によってアプリオリに大幅に崩壊し、その結果、下流の予測タスク用に最適化されません。
これは、すべての個々の参加者が通常、複数の全脳 3D イメージング モダリティを備えており、多くの場合、深い遺伝子型および表現型の特徴付けが伴うため、計算上の困難な課題が生じるためです。
この論文では、モジュラーアプローチに根ざした生成モデルと分離可能な畳み込みブロックに基づいてディープラーニングアーキテクチャを設計し、a) ボクセル単位のレベルで複数の 3D ニューロイメージングモダリティを融合し、b) 重度の次元削減によりそれらを有益な潜在的な埋め込みに変換します。
c) 優れた一般化可能性と最小限の情報損失を維持します。
概念の証明として、十分に特徴付けられたヒューマン コネクトーム プロジェクト データベースでアーキテクチャをテストし、潜在的な埋め込みを簡単に分離できるサブジェクト層にクラスター化できることを実証します。
これは、疾患の進行や薬物反応の予測に役立つ可能性があるため、機械的な疾患の理解をサポートし、臨床試験に力を与えることができます。

要約(オリジナル)

Recently, it has become progressively more evident that classic diagnostic labels are unable to reliably describe the complexity and variability of several clinical phenotypes. This is particularly true for a broad range of neuropsychiatric illnesses (e.g., depression, anxiety disorders, behavioral phenotypes). Patient heterogeneity can be better described by grouping individuals into novel categories based on empirically derived sections of intersecting continua that span across and beyond traditional categorical borders. In this context, neuroimaging data carry a wealth of spatiotemporally resolved information about each patient’s brain. However, they are usually heavily collapsed a priori through procedures which are not learned as part of model training, and consequently not optimized for the downstream prediction task. This is because every individual participant usually comes with multiple whole-brain 3D imaging modalities often accompanied by a deep genotypic and phenotypic characterization, hence posing formidable computational challenges. In this paper we design a deep learning architecture based on generative models rooted in a modular approach and separable convolutional blocks to a) fuse multiple 3D neuroimaging modalities on a voxel-wise level, b) convert them into informative latent embeddings through heavy dimensionality reduction, c) maintain good generalizability and minimal information loss. As proof of concept, we test our architecture on the well characterized Human Connectome Project database demonstrating that our latent embeddings can be clustered into easily separable subject strata which, in turn, map to different phenotypical information which was not included in the embedding creation process. This may be of aid in predicting disease evolution as well as drug response, hence supporting mechanistic disease understanding and empowering clinical trials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google