MedNeXt: Transformer-driven Scaling of ConvNets for Medical Image Segmentation

要約

医用画像のセグメンテーションに Transformer ベースのアーキテクチャを採用することへの関心が爆発的に高まっています。
ただし、大規模な注釈付き医療データセットがないため、自然画像と同等のパフォーマンスを達成することは困難です。
対照的に、畳み込みネットワークはより高い誘導性バイアスを持っているため、高性能になるように簡単にトレーニングできます。
最近、ConvNeXt アーキテクチャは、Transformer ブロックをミラーリングすることにより、標準の ConvNet を最新化しようとしました。
この作業では、これを改善して、データが不足している医療環境の課題に合わせてカスタマイズされた、最新化されたスケーラブルな畳み込みアーキテクチャを設計します。
MedNeXt は Transformer に着想を得た大規模なカーネル セグメンテーション ネットワークであり、1) 医用画像セグメンテーション用の完全な ConvNeXt 3D エンコーダー/デコーダー ネットワーク、2) スケール全体でセマンティックの豊かさを維持するための Residual ConvNeXt アップおよびダウンサンプリング ブロック、3) 新しい技術を導入します。
小さなカーネルネットワークをアップサンプリングすることでカーネルサイズを繰り返し増やし、限られた医療データでのパフォーマンスの飽和を防ぎます。4) MedNeXt の複数のレベル (深さ、幅、カーネルサイズ) での複合スケーリング。
これにより、CT および MRI モダリティの 4 つのタスクとさまざまなデータセット サイズで最先端のパフォーマンスが得られ、医療画像セグメンテーションのための最新化されたディープ アーキテクチャが実現します。

要約(オリジナル)

There has been exploding interest in embracing Transformer-based architectures for medical image segmentation. However, the lack of large-scale annotated medical datasets make achieving performances equivalent to those in natural images challenging. Convolutional networks, in contrast, have higher inductive biases and consequently, are easily trainable to high performance. Recently, the ConvNeXt architecture attempted to modernize the standard ConvNet by mirroring Transformer blocks. In this work, we improve upon this to design a modernized and scalable convolutional architecture customized to challenges of data-scarce medical settings. We introduce MedNeXt, a Transformer-inspired large kernel segmentation network which introduces – 1) A fully ConvNeXt 3D Encoder-Decoder Network for medical image segmentation, 2) Residual ConvNeXt up and downsampling blocks to preserve semantic richness across scales, 3) A novel technique to iteratively increase kernel sizes by upsampling small kernel networks, to prevent performance saturation on limited medical data, 4) Compound scaling at multiple levels (depth, width, kernel size) of MedNeXt. This leads to state-of-the-art performance on 4 tasks on CT and MRI modalities and varying dataset sizes, representing a modernized deep architecture for medical image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google