FreMIM: Fourier Transform Meets Masked Image Modeling for Medical Image Segmentation

要約

研究コミュニティは、ラベルのないデータから視覚表現を学習できるモデルを可能にする自己教師ありマスク画像モデリング (MIM) の強力な可能性を目の当たりにしました。この論文では、高密度予測のために重要なグローバル構造情報と局所詳細の両方を組み込むことができます。
タスクでは、視点を周波数領域に変更し、医療画像セグメンテーション タスクをより適切に達成するための自己教師あり事前トレーニング用の FreMIM という新しい MIM ベースのフレームワークを提示します。
詳細な構造情報は主に高周波コンポーネントにあり、高レベルのセマンティクスは低周波コンポーネントに豊富に含まれているという観察に基づいて、事前トレーニング段階で表現学習をガイドするために多段階の監視をさらに組み込みます。
。
3 つのベンチマーク データセットに対する広範な実験により、当社の FreMIM が以前の最先端の MIM 手法よりも優れていることがわかりました。
ゼロからトレーニングされたさまざまなベースラインと比較して、当社の FreMIM はモデルのパフォーマンスに一貫して大幅な改善をもたらすことができます。
コードは公開されます。

要約(オリジナル)

The research community has witnessed the powerful potential of self-supervised Masked Image Modeling (MIM), which enables the models capable of learning visual representation from unlabeled data.In this paper, to incorporate both the crucial global structural information and local details for dense prediction tasks, we alter the perspective to the frequency domain and present a new MIM-based framework named FreMIM for self-supervised pre-training to better accomplish medical image segmentation task. Based on the observations that the detailed structural information mainly lies in the high-frequency components and the high-level semantics are abundant in the low-frequency counterparts, we further incorporate multi-stage supervision to guide the representation learning during the pre-training phase. Extensive experiments on three benchmark datasets show the superior advantage of our FreMIM over previous state-of-the-art MIM methods. Compared with various baselines trained from scratch, our FreMIM could consistently bring considerable improvements to model performance. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google