Med-NCA: Robust and Lightweight Segmentation with Neural Cellular Automata

要約

Deep Learningを用いた医療画像セグメンテーションを行う場合、適切なインフラへのアクセスは非常に重要である。この要件により、農村部の一次医療施設や危機の際のようなリソースに制約のあるシナリオでは、最先端のセグメンテーションモデルを実行することが困難となります。最近登場したニューラルセルラーオートマトン（NCA）の分野では、局所的に相互作用する1セルモデルが、低解像度入力の画像生成やセグメンテーションなどのタスクで競争力のある結果を達成できることが示されています。しかし、高いVRAM容量と高解像度画像での収束が困難であるという制約があります。これらの制限を打ち消すために、我々は高解像度画像セグメンテーションのためのエンドツーエンドNCA学習パイプラインであるMed-NCAを提案する。本手法は、2段階のプロセスを経る。まず、ダウンスケールされた画像上のセル間でグローバルな知識が伝達される。その後、パッチベースのセグメンテーションが行われる。提案するMed-NCAは、海馬と前立腺のセグメンテーションにおいて、従来のUNetをそれぞれ2%、3%のDiceで上回り、かつ500分の1のサイズである。また、Med-NCAは画像のスケール、形状、平行移動に対して設計上不変であり、強い移動があってもわずかな性能低下しか生じないこと、MRI撮影時のアーティファクトに対してロバストであることを示す。Med-NCAは、Raspberry Pi B+（PyTorchが動作する最小のデバイスで、標準的なパワーバンクで駆動可能）でも高解像度の医療画像セグメンテーションを可能にします。

要約(オリジナル)

Access to the proper infrastructure is critical when performing medical image segmentation with Deep Learning. This requirement makes it difficult to run state-of-the-art segmentation models in resource-constrained scenarios like primary care facilities in rural areas and during crises. The recently emerging field of Neural Cellular Automata (NCA) has shown that locally interacting one-cell models can achieve competitive results in tasks such as image generation or segmentations in low-resolution inputs. However, they are constrained by high VRAM requirements and the difficulty of reaching convergence for high-resolution images. To counteract these limitations we propose Med-NCA, an end-to-end NCA training pipeline for high-resolution image segmentation. Our method follows a two-step process. Global knowledge is first communicated between cells across the downscaled image. Following that, patch-based segmentation is performed. Our proposed Med-NCA outperforms the classic UNet by 2% and 3% Dice for hippocampus and prostate segmentation, respectively, while also being 500 times smaller. We also show that Med-NCA is by design invariant with respect to image scale, shape and translation, experiencing only slight performance degradation even with strong shifts; and is robust against MRI acquisition artefacts. Med-NCA enables high-resolution medical image segmentation even on a Raspberry Pi B+, arguably the smallest device able to run PyTorch and that can be powered by a standard power bank.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL