A Unified Framework for Microscopy Defocus Deblur with Multi-Pyramid Transformer and Contrastive Learning

要約

焦点ぼけは顕微鏡イメージングにおける永続的な問題であり、細胞顕微鏡検査や顕微鏡手術における病理解釈や医療介入に悪影響を及ぼします。
この問題に対処するために、マルチピラミッド変換器 (MPT) と拡張周波数対比正則化 (EFCR) を含む統一フレームワークが提案され、顕微鏡のぼけ除去における 2 つの顕著な課題、つまり注意力持続時間の延長とデータ不足に取り組むことができます。
MPT は、クロススケール ウィンドウ アテンション (CSWA​​)、イントラスケール チャネル アテンション (ISCA)、および機能強化フィードフォワード ネットワーク (FEFN) を統合して、長距離をキャプチャする明示的なピラミッド構造をネットワークの各段階で採用しています。
クロススケールの空間相互作用とグローバル チャネル コンテキスト。
EFCR は、さまざまな周波数帯域からの潜在的なぼけ除去信号を探索することで、データ欠損の問題に対処します。
また、余分なデータからクロスドメイン情報を学習するためのぼけ除去知識の転送が可能になり、ラベル付きデータとラベルなしデータのぼけ除去パフォーマンスが向上します。
広範な実験と下流タスクの検証により、このフレームワークが複数のデータセットにわたって最先端のパフォーマンスを達成していることが示されています。
プロジェクトページ: https://github.com/PieceZhang/MPT-CataBlur。

要約(オリジナル)

Defocus blur is a persistent problem in microscope imaging that poses harm to pathology interpretation and medical intervention in cell microscopy and microscope surgery. To address this problem, a unified framework including the multi-pyramid transformer (MPT) and extended frequency contrastive regularization (EFCR) is proposed to tackle two outstanding challenges in microscopy deblur: longer attention span and data deficiency. The MPT employs an explicit pyramid structure at each network stage that integrates the cross-scale window attention (CSWA), the intra-scale channel attention (ISCA), and the feature-enhancing feed-forward network (FEFN) to capture long-range cross-scale spatial interaction and global channel context. The EFCR addresses the data deficiency problem by exploring latent deblur signals from different frequency bands. It also enables deblur knowledge transfer to learn cross-domain information from extra data, improving deblur performance for labeled and unlabeled data. Extensive experiments and downstream task validation show the framework achieves state-of-the-art performance across multiple datasets. Project page: https://github.com/PieceZhang/MPT-CataBlur.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google