Transferring Models Trained on Natural Images to 3D MRI via Position Encoded Slice Models

要約

転移学習は、コンピューター ビジョンを著しく改善しました。
これらの進歩は、トレーニング セットのサイズが小さいことが多いニューロ イメージングの改善も約束します。
ただし、自然画像で事前トレーニングされたモデルを MRI などの放射線画像に直接適用するには、さまざまな困難が生じます。
特に、入力空間 (2D 画像と 3D MRI) の不一致により、モデルの直接転送が制限され、多くの場合、少数の MRI スライスのみを入力として考慮する必要があります。
この目的のために、Gupta らの 2D-Slice-CNN アーキテクチャを活用します。
(2021)、これはすべての MRI スライスを 2D エンコーダー (2D 画像入力を受け取るニューラル ネットワーク) で埋め込み、順列不変レイヤーを介してそれらを結合します。
事前トレーニング済みモデルが 2D エンコーダーとして機能できるという洞察に基づいて、2 つのニューロ イメージング タスク (英国バイオバンク データセットでの脳年齢予測とアルツハイマー病検出) でゼロから初期化およびトレーニングされたものよりも優れた ImageNet 事前トレーニング済み重みで 2D エンコーダーを初期化します。
ADNI データセット。
さらに、位置埋め込みを介して空間情報を組み込むことにより、2D-Slice モデルのモデリング機能を改善します。これにより、場合によってはパフォーマンスが向上します。

要約(オリジナル)

Transfer learning has remarkably improved computer vision. These advances also promise improvements in neuroimaging, where training set sizes are often small. However, various difficulties arise in directly applying models pretrained on natural images to radiologic images, such as MRIs. In particular, a mismatch in the input space (2D images vs. 3D MRIs) restricts the direct transfer of models, often forcing us to consider only a few MRI slices as input. To this end, we leverage the 2D-Slice-CNN architecture of Gupta et al. (2021), which embeds all the MRI slices with 2D encoders (neural networks that take 2D image input) and combines them via permutation-invariant layers. With the insight that the pretrained model can serve as the 2D encoder, we initialize the 2D encoder with ImageNet pretrained weights that outperform those initialized and trained from scratch on two neuroimaging tasks — brain age prediction on the UK Biobank dataset and Alzheimer’s disease detection on the ADNI dataset. Further, we improve the modeling capabilities of 2D-Slice models by incorporating spatial information through position embeddings, which can improve the performance in some cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google