Implicit Anatomical Rendering for Medical Image Segmentation with Stochastic Experts

要約

タイトル：確率的エキスパートを用いた医療画像セグメンテーションのための暗黙的解剖学レンダリング

要約：
– 医療画像セグメンテーションにおいて、高次元の意味的に関連したコンテンツと低次元の解剖学的特徴を統合することは重要である。
– このため、近年の深層学習ベースの医療セグメンテーション方法はこの情報をより良くモデリングすることを示している。
– しかし、医療画像セグメンテーションに対する畳み込み演算子は通常、正規グリッド上で動作するため、高周波領域、例えば境界領域をぼかす。
– 本研究では、解剖学的レベルで設計された一般的な暗黙的ニューラルレンダリングフレームワーク、MORSEを提案する。
– 本手法は、暗黙的ニューラル表現が、離散的なグリッドベースの表現よりも複雑な信号にフィットし、コンピュータグラフィックス問題を解決するためにより効果的であることを考慮している。
– アプローチの核心は、エンドツーエンドの方法で医療画像セグメンテーションをレンダリング問題と捉えることである。
– 具体的には、粗いセグメンテーション予測を曖昧な座標ベースのポイント表現と連続的に整列させ、これらの特徴を集約して境界領域を自動的に精製する。
– 複数のスケールのピクセルレベルの特徴を並列に最適化するには、Mixture-of-Expert (MoE)から着想を得て、MORSEに確率的ゲーティングメカニズムを設計してトレーニングする。
– 実験は、MORSEが異なる医療セグメンテーションバックボーンと良好に機能し、2Dおよび3D監視された医療セグメンテーション方法の両方で競争力のある性能向上を一貫して実現することを示している。
– MORSEの優位性を理論的に分析することも示されている。

要約(オリジナル)

Integrating high-level semantically correlated contents and low-level anatomical features is of central importance in medical image segmentation. Towards this end, recent deep learning-based medical segmentation methods have shown great promise in better modeling such information. However, convolution operators for medical segmentation typically operate on regular grids, which inherently blur the high-frequency regions, i.e., boundary regions. In this work, we propose MORSE, a generic implicit neural rendering framework designed at an anatomical level to assist learning in medical image segmentation. Our method is motivated by the fact that implicit neural representation has been shown to be more effective in fitting complex signals and solving computer graphics problems than discrete grid-based representation. The core of our approach is to formulate medical image segmentation as a rendering problem in an end-to-end manner. Specifically, we continuously align the coarse segmentation prediction with the ambiguous coordinate-based point representations and aggregate these features to adaptively refine the boundary region. To parallelly optimize multi-scale pixel-level features, we leverage the idea from Mixture-of-Expert (MoE) to design and train our MORSE with a stochastic gating mechanism. Our experiments demonstrate that MORSE can work well with different medical segmentation backbones, consistently achieving competitive performance improvements in both 2D and 3D supervised medical segmentation methods. We also theoretically analyze the superiority of MORSE.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI