Going Beyond U-Net: Assessing Vision Transformers for Semantic Segmentation in Microscopy Image Analysis

要約

セグメンテーションは、顕微鏡画像解析における重要なステップです。
過去数年にわたって、古典的なセグメンテーション アルゴリズムから高度な深層学習モデルに至るまで、数多くのアプローチが開発されてきました。
U-Net は依然として生物医学セグメンテーション タスクで最も人気があり確立されたモデルの 1 つですが、最近開発されたトランスフォーマー ベースのモデルは、顕微鏡画像のセグメンテーション プロセスを強化することが期待されています。
この研究では、UNETR、Segment Anything Model、Swin-UPerNet などのトランスフォーマーの有効性を評価し、電子顕微鏡、明視野、組織病理学などのさまざまな画像モダリティにわたって確立された U-Net モデルと比較します。
位相コントラスト。
私たちの評価により、元の Swin Transformer モデルのいくつかの制限が特定され、パフォーマンスを最適化するためにアーキテクチャを変更することでこの制限に対処しました。
結果は、これらの変更により、従来の U-Net モデルや未変更の Swin-UPerNet と比較してセグメンテーション パフォーマンスが向上することが示されています。
この比較分析は、生物医学画像セグメンテーションを進歩させるためのトランスフォーマー モデルの可能性を強調しています。
これは、注意深く修正することで効率と適用性を向上させることができ、将来の顕微鏡画像解析ツールでの使用を促進できることを示しています。

要約(オリジナル)

Segmentation is a crucial step in microscopy image analysis. Numerous approaches have been developed over the past years, ranging from classical segmentation algorithms to advanced deep learning models. While U-Net remains one of the most popular and well-established models for biomedical segmentation tasks, recently developed transformer-based models promise to enhance the segmentation process of microscopy images. In this work, we assess the efficacy of transformers, including UNETR, the Segment Anything Model, and Swin-UPerNet, and compare them with the well-established U-Net model across various image modalities such as electron microscopy, brightfield, histopathology, and phase-contrast. Our evaluation identifies several limitations in the original Swin Transformer model, which we address through architectural modifications to optimise its performance. The results demonstrate that these modifications improve segmentation performance compared to the classical U-Net model and the unmodified Swin-UPerNet. This comparative analysis highlights the promise of transformer models for advancing biomedical image segmentation. It demonstrates that their efficiency and applicability can be improved with careful modifications, facilitating their future use in microscopy image analysis tools.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google