FreMAE: Fourier Transform Meets Masked Autoencoders for Medical Image Segmentation

要約

タイトル：FreMAE：フーリエ変換がマスクされたオートエンコーダーと出会うことで医療画像セグメンテーションが可能に

要約：
– 自己教師信号なしで訓練可能なマスクされた画像モデリング(MIM)の強力なポテンシャルがあることが知られている
– FreMAEフレームワークは、医療画像セグメンテーションのための自己学習のためのMIMベースの新しいフレームワークであり、高周波成分に詳細な構造情報があり、低周波数成分には高レベルの意味が豊富に含まれていることを考慮している
– プレトレーニングフェーズの表現学習をガイドするために、マルチステージ監視をさらに組み込み、3つのベンチマークデータセットで幅広い実験が行われた
– FreMAEは、先行研究のMIM法に比べて優れた利点があり、様々なベースラインと比較して、モデルの性能にしばしば大きな改善をもたらすことができる
– MIMにフーリエ変換を導入する医療画像セグメンテーションにおける初の試みだとしている

要約(オリジナル)

The research community has witnessed the powerful potential of self-supervised Masked Image Modeling (MIM), which enables the models capable of learning visual representation from unlabeled data. In this paper, to incorporate both the crucial global structural information and local details for dense prediction tasks, we alter the perspective to the frequency domain and present a new MIM-based framework named FreMAE for self-supervised pre-training for medical image segmentation. Based on the observations that the detailed structural information mainly lies in the high-frequency components and the high-level semantics are abundant in the low-frequency counterparts, we further incorporate multi-stage supervision to guide the representation learning during the pre-training phase. Extensive experiments on three benchmark datasets show the superior advantage of our proposed FreMAE over previous state-of-the-art MIM methods. Compared with various baselines trained from scratch, our FreMAE could consistently bring considerable improvements to the model performance. To the best our knowledge, this is the first attempt towards MIM with Fourier Transform in medical image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI