U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation

要約

畳み込みニューラル ネットワーク (CNN) とトランスフォーマーは、生物医学画像のセグメンテーションで最も一般的なアーキテクチャですが、どちらも固有の局所性や計算の複雑さのため、長距離の依存関係を処理する能力が限られています。
この課題に対処するために、生物医学画像セグメンテーション用の汎用ネットワークである U-Mamba を紹介します。
長いシーケンスを処理する強力な機能で知られる深シーケンス モデルの新しいファミリーである状態空間シーケンス モデル (SSM) からインスピレーションを得て、畳み込み層の局所特徴抽出能力と次の機能を統合するハイブリッド CNN-SSM ブロックを設計します。
長距離依存関係をキャプチャするための SSM。
さらに、U-Mamba は自己構成メカニズムを備えており、手動介入なしでさまざまなデータセットに自動的に適応できます。
私たちは、CT および MR 画像での 3D 腹部臓器セグメンテーション、内視鏡画像での器具セグメンテーション、顕微鏡画像での細胞セグメンテーションを含む 4 つの多様なタスクについて広範な実験を行っています。
結果は、U-Mamba がすべてのタスクにわたって最先端の CNN ベースおよび Transformer ベースのセグメンテーション ネットワークよりも優れたパフォーマンスを発揮することを明らかにしました。
これにより、生物医学画像解析における効率的な長距離依存関係モデリングへの新たな道が開かれます。
コード、モデル、データは https://wanglab.ai/u-mamba.html で公開されています。

要約(オリジナル)

Convolutional Neural Networks (CNNs) and Transformers have been the most popular architectures for biomedical image segmentation, but both of them have limited ability to handle long-range dependencies because of inherent locality or computational complexity. To address this challenge, we introduce U-Mamba, a general-purpose network for biomedical image segmentation. Inspired by the State Space Sequence Models (SSMs), a new family of deep sequence models known for their strong capability in handling long sequences, we design a hybrid CNN-SSM block that integrates the local feature extraction power of convolutional layers with the abilities of SSMs for capturing the long-range dependency. Moreover, U-Mamba enjoys a self-configuring mechanism, allowing it to automatically adapt to various datasets without manual intervention. We conduct extensive experiments on four diverse tasks, including the 3D abdominal organ segmentation in CT and MR images, instrument segmentation in endoscopy images, and cell segmentation in microscopy images. The results reveal that U-Mamba outperforms state-of-the-art CNN-based and Transformer-based segmentation networks across all tasks. This opens new avenues for efficient long-range dependency modeling in biomedical image analysis. The code, models, and data are publicly available at https://wanglab.ai/u-mamba.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google