Spatiotemporal Modeling Encounters 3D Medical Image Analysis: Slice-Shift UNet with Multi-View Fusion

要約

コンピューター断層撮影 (CT) と磁気共鳴画像法 (MRI) はコンピューター ヘルスケアの基本的な部分として体積データを提供するため、3D 画像解析のアルゴリズムの開発が必要になります。
2D 畳み込みニューラル ネットワークは、計算コストが低いにもかかわらず、空間情報しか抽出できません。
対照的に、3D CNN は 3 次元の特徴を抽出できますが、計算コストと遅延が高く、高速で効率的なモデルを必要とする臨床現場では制限となります。
ビデオ アクション認識の分野からインスピレーションを得て、2D CNN の複雑さで 3 次元特徴をエンコードする Slice SHIft UNet (SSH-UNet) と呼ばれる新しい 2D ベースのモデルを提案します。
より正確には、マルチビューの特徴は、ボリュームの 3 つの直交面に沿って 2D 畳み込みを実行し、重み共有メカニズムを課すことによって共同して学習されます。
2D 畳み込みによって無視される 3 番目の次元は、スライスの軸に沿って特徴マップの一部をシフトすることによって再組み込まれます。
私たちのアプローチの有効性は、Multi-Modality Abdominal Multi-Organ Segmentation (AMOS) および Multi-Atlas Labeling Beyond the Cranial Vault (BTCV) データセットで検証されており、SSH-UNet が最先端のアーキテクチャと同等のパフォーマンスでありながら、より効率的であることが示されています。

要約(オリジナル)

As a fundamental part of computational healthcare, Computer Tomography (CT) and Magnetic Resonance Imaging (MRI) provide volumetric data, making the development of algorithms for 3D image analysis a necessity. Despite being computationally cheap, 2D Convolutional Neural Networks can only extract spatial information. In contrast, 3D CNNs can extract three-dimensional features, but they have higher computational costs and latency, which is a limitation for clinical practice that requires fast and efficient models. Inspired by the field of video action recognition we propose a new 2D-based model dubbed Slice SHift UNet (SSH-UNet) which encodes three-dimensional features at 2D CNN’s complexity. More precisely multi-view features are collaboratively learned by performing 2D convolutions along the three orthogonal planes of a volume and imposing a weights-sharing mechanism. The third dimension, which is neglected by the 2D convolution, is reincorporated by shifting a portion of the feature maps along the slices’ axis. The effectiveness of our approach is validated in Multi-Modality Abdominal Multi-Organ Segmentation (AMOS) and Multi-Atlas Labeling Beyond the Cranial Vault (BTCV) datasets, showing that SSH-UNet is more efficient while on par in performance with state-of-the-art architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google