DINeuro: Distilling Knowledge from 2D Natural Images via Deformable Tubular Transferring Strategy for 3D Neuron Reconstruction

要約

3D 光学顕微鏡イメージング データからニューロン形態を再構成することは、神経科学者が脳ネットワークと神経解剖学を分析するのを助けるために重要です。
深層学習技術の活用により、再構成ワークフローの前処理ステップとして生のニューロン画像の信号対雑音比を向上させるために、さまざまな学習ベースのセグメンテーション モデルが開発されました。
しかし、既存のモデルのほとんどは、体積ニューロン データの潜在的な代表的特徴を直接エンコードしていますが、その固有の形態学的知識は無視されています。
この制限に対処するために、広範な 2D 自然画像で事前トレーニングされた 2D Vision Transformer から事前知識を抽出し、3D Vision Transformer のニューロンの形態学的学習を促進する新しいフレームワークを設計します。
2Dの自然画像と3Dの顕微鏡形態学的ドメインの間の知識ギャップを埋めるために、事前に訓練された2Dの自然知識を潜在的な埋め込み空間内のニューロン構造の固有の管状特性に適応させる、変形可能な管状伝達戦略を提案します。
BigNeuron プロジェクトの Janelia データセットの実験結果は、私たちの方法が平均 Dice で 4.53%、平均 95% Hausdorff 距離で 3.56% のセグメンテーション パフォーマンスの向上を達成することを示しています。

要約(オリジナル)

Reconstructing neuron morphology from 3D light microscope imaging data is critical to aid neuroscientists in analyzing brain networks and neuroanatomy. With the boost from deep learning techniques, a variety of learning-based segmentation models have been developed to enhance the signal-to-noise ratio of raw neuron images as a pre-processing step in the reconstruction workflow. However, most existing models directly encode the latent representative features of volumetric neuron data but neglect their intrinsic morphological knowledge. To address this limitation, we design a novel framework that distills the prior knowledge from a 2D Vision Transformer pre-trained on extensive 2D natural images to facilitate neuronal morphological learning of our 3D Vision Transformer. To bridge the knowledge gap between the 2D natural image and 3D microscopic morphologic domains, we propose a deformable tubular transferring strategy that adapts the pre-trained 2D natural knowledge to the inherent tubular characteristics of neuronal structure in the latent embedding space. The experimental results on the Janelia dataset of the BigNeuron project demonstrate that our method achieves a segmentation performance improvement of 4.53% in mean Dice and 3.56% in mean 95% Hausdorff distance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google