Computation-Efficient Era: A Comprehensive Survey of State Space Models in Medical Image Analysis

要約

シーケンス モデリングはさまざまな分野で重要な役割を果たしており、歴史的にこれらのタスクを実行するにはリカレント ニューラル ネットワークが主流の方法です。
しかし、変圧器の出現により、その優れた性能によりこのパラダイムが変わりました。
これらの進歩に基づいて構築されたトランスフォーマーは、視覚表現を学習するための 2 つの主要な基本モデルとして CNN を結合しました。
ただし、トランスフォーマーは注意メカニズムの $\mathcal{O}(N^2)$ の複雑さによって妨げられますが、CNN にはグローバルな受容野と動的な重み付け割り当てがありません。
状態空間モデル (SSM)、特に選択メカニズムとハードウェア認識アーキテクチャを備えた \textit{\textbf{Mamba}} モデルは、最近、シーケンシャル モデリングと視覚的表現の学習において多大な関心を集めており、無限のコンテキストを提供することでトランスフォーマーの優位性に挑戦しています。
入力シーケンスの直線的な複雑さを維持しながら、大幅な効率を実現します。
コンピュータ ビジョンの進歩を利用して、医療画像処理は Mamba モデルによって新たな時代の到来を告げています。
研究者がこの急増に対処できるようにすることを目的としたこの調査は、医療画像における Mamba モデルの百科事典的なレビューを提供することを目的としています。
具体的には、Mamba アーキテクチャと、この文脈におけるシーケンス モデリング パラダイムの代替案を含む、SSM の基礎を形成する包括的な理論的レビューから始めます。
次に、医療分野における Mamba モデルの構造化された分類を提供し、そのアプリケーション、画像モダリティ、および標的臓器に基づいた多様な分類スキームを導入します。
最後に、主要な課題を要約し、医療分野における SSM の将来のさまざまな研究の方向性について議論し、この分野の需要を満たすためのいくつかの方向性を提案します。
さらに、このホワイトペーパーで説明した調査結果とそのオープンソース実装を GitHub リポジトリにまとめました。

要約(オリジナル)

Sequence modeling plays a vital role across various domains, with recurrent neural networks being historically the predominant method of performing these tasks. However, the emergence of transformers has altered this paradigm due to their superior performance. Built upon these advances, transformers have conjoined CNNs as two leading foundational models for learning visual representations. However, transformers are hindered by the $\mathcal{O}(N^2)$ complexity of their attention mechanisms, while CNNs lack global receptive fields and dynamic weight allocation. State Space Models (SSMs), specifically the \textit{\textbf{Mamba}} model with selection mechanisms and hardware-aware architecture, have garnered immense interest lately in sequential modeling and visual representation learning, challenging the dominance of transformers by providing infinite context lengths and offering substantial efficiency maintaining linear complexity in the input sequence. Capitalizing on the advances in computer vision, medical imaging has heralded a new epoch with Mamba models. Intending to help researchers navigate the surge, this survey seeks to offer an encyclopedic review of Mamba models in medical imaging. Specifically, we start with a comprehensive theoretical review forming the basis of SSMs, including Mamba architecture and its alternatives for sequence modeling paradigms in this context. Next, we offer a structured classification of Mamba models in the medical field and introduce a diverse categorization scheme based on their application, imaging modalities, and targeted organs. Finally, we summarize key challenges, discuss different future research directions of the SSMs in the medical domain, and propose several directions to fulfill the demands of this field. In addition, we have compiled the studies discussed in this paper along with their open-source implementations on our GitHub repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google