UltraLight VM-UNet: Parallel Vision Mamba Significantly Reduces Parameters for Skin Lesion Segmentation

要約

従来、モデルのセグメンテーションのパフォーマンスを向上させるために、ほとんどのアプローチはより複雑なモジュールを追加することを好みます。
また、これは医療分野、特にモバイル医療機器には適していません。モバイル医療機器では、計算リソースの制約により、計算をロードしたモデルが実際の臨床環境には適していません。
最近では、Mamba に代表される状態空間モデル (SSM) が、従来の CNN や Transformer に対する強力な競合相手となっています。
この論文では、Mamba におけるパラメータの影響の重要な要素を深く調査し、これに基づいた UltraLight Vision Mamba UNet (UltraLight VM-UNet) を提案します。
具体的には、PVM レイヤーと呼ばれる、Vision Mamba で機能を並列処理する方法を提案します。これは、全体の処理チャネル数を一定に保ちながら、最小限の計算負荷で優れたパフォーマンスを実現します。
私たちは、3 つの皮膚病変公開データセットに対して、いくつかの最先端の軽量モデルとの比較とアブレーション実験を実施し、UltraLight VM-UNet がわずか 0.049M のパラメータと 0.060 の GFLOPs で同様の強力なパフォーマンス競争力を示すことを実証しました。
さらに、この研究では、Mamba におけるパラメーターの影響の重要な要素を深く調査しています。これは、Mamba が将来軽量化のための新しい主流モジュールになる可能性があるための理論的基礎を築くでしょう。
コードは https://github.com/wurenkai/UltraLight-VM-UNet から入手できます。

要約(オリジナル)

Traditionally for improving the segmentation performance of models, most approaches prefer to use adding more complex modules. And this is not suitable for the medical field, especially for mobile medical devices, where computationally loaded models are not suitable for real clinical environments due to computational resource constraints. Recently, state-space models (SSMs), represented by Mamba, have become a strong competitor to traditional CNNs and Transformers. In this paper, we deeply explore the key elements of parameter influence in Mamba and propose an UltraLight Vision Mamba UNet (UltraLight VM-UNet) based on this. Specifically, we propose a method for processing features in parallel Vision Mamba, named PVM Layer, which achieves excellent performance with the lowest computational load while keeping the overall number of processing channels constant. We conducted comparisons and ablation experiments with several state-of-the-art lightweight models on three skin lesion public datasets and demonstrated that the UltraLight VM-UNet exhibits the same strong performance competitiveness with parameters of only 0.049M and GFLOPs of 0.060. In addition, this study deeply explores the key elements of parameter influence in Mamba, which will lay a theoretical foundation for Mamba to possibly become a new mainstream module for lightweighting in the future. The code is available from https://github.com/wurenkai/UltraLight-VM-UNet .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google