Leveraging SO(3)-steerable convolutions for pose-robust semantic segmentation in 3D medical data

要約

畳み込みニューラル ネットワーク (CNN) では、線形層で畳み込みカーネルを使用することにより、パラメーターの共有と並進等分散が可能になります。
これらのカーネルを SO(3) ステアリング可能に制限することで、CNN はパラメータ共有をさらに改善できます。
これらの回転等価畳み込み層には、目に見えない姿勢に対する堅牢性の向上、ネットワーク サイズの縮小、サンプル効率の向上など、標準の畳み込み層に比べていくつかの利点があります。
それにもかかわらず、医療画像分析で使用されるほとんどのセグメンテーション ネットワークは、引き続き標準の畳み込みカーネルに依存しています。
この論文では、球面調和関数に基づく等変ボクセル畳み込みを使用するセグメンテーション ネットワークの新しいファミリーを紹介します。
これらのネットワークは、トレーニング中に見られないデータのポーズに対して堅牢であり、トレーニング中に回転ベースのデータ拡張を必要としません。
さらに、MRI 脳腫瘍および健康な脳構造のセグメンテーション タスクにおけるセグメンテーションのパフォーマンスが向上し、トレーニング データ量の削減に対する堅牢性が強化され、パラメーターの効率が向上することを実証します。
結果を再現し、他のタスク用に等変セグメンテーション ネットワークを実装するコードは、http://github.com/SCAN-NRAD/e3nn_Unet で入手できます。

要約(オリジナル)

Convolutional neural networks (CNNs) allow for parameter sharing and translational equivariance by using convolutional kernels in their linear layers. By restricting these kernels to be SO(3)-steerable, CNNs can further improve parameter sharing. These rotationally-equivariant convolutional layers have several advantages over standard convolutional layers, including increased robustness to unseen poses, smaller network size, and improved sample efficiency. Despite this, most segmentation networks used in medical image analysis continue to rely on standard convolutional kernels. In this paper, we present a new family of segmentation networks that use equivariant voxel convolutions based on spherical harmonics. These networks are robust to data poses not seen during training, and do not require rotation-based data augmentation during training. In addition, we demonstrate improved segmentation performance in MRI brain tumor and healthy brain structure segmentation tasks, with enhanced robustness to reduced amounts of training data and improved parameter efficiency. Code to reproduce our results, and to implement the equivariant segmentation networks for other tasks is available at http://github.com/SCAN-NRAD/e3nn_Unet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google