Towards Arbitrary-Scale Histopathology Image Super-resolution: An Efficient Dual-branch Framework via Implicit Self-texture Enhancement

要約

高品質のスライド全体スキャナは高価で、複雑で、時間がかかるため、日常の臨床業務における高解像度の病理スライド全体画像の取得と利用が制限されます。
深層学習ベースの単一画像超解像度技術は、低解像度の画像から高解像度の画像を合成することで、この問題を解決する効果的な方法です。
ただし、病理画像に適用される既存の超解像度モデルは、固定された整数倍率でのみ機能するため、適用性が大幅に低下します。
暗黙的ニューラル表現に基づく方法は、自然画像の任意スケールの超解像において有望な結果を示していますが、病理学画像には自然画像とは異なる独特のきめの細かい画像テクスチャがあるため、それを病理画像に直接適用するのは不十分です。
したがって、この課題に対処するために、病理画像の任意スケールの超解像度のための暗黙的自己テクスチャ強化ベースのデュアルブランチ フレームワーク (ISTE) を提案します。
ISTE にはピクセル学習ブランチとテクスチャ学習ブランチが含まれており、最初にそれぞれピクセル特徴とテクスチャ特徴を学習します。
次に、2 つのブランチからの特徴を融合して超解像度の結果を取得する 2 段階のテクスチャ強化戦略を設計します。最初の段階は特徴ベースのテクスチャ強化で、第 2 段階は空間ドメイン ベースのテクスチャ強化です。
。
3 つの公開データセットに対する広範な実験により、ISTE が複数の倍率で既存の固定スケールおよび任意スケールのアルゴリズムを上回り、下流のタスクのパフォーマンスの向上に役立つことが示されています。
私たちの知る限り、これは病理画像で任意スケールの超解像度を達成した最初の研究です。
コードが利用可能になります。

要約(オリジナル)

High-quality whole-slide scanners are expensive, complex, and time-consuming, thus limiting the acquisition and utilization of high-resolution pathology whole-slide images in daily clinical work. Deep learning-based single-image super-resolution techniques are an effective way to solve this problem by synthesizing high-resolution images from low-resolution ones. However, the existing super-resolution models applied in pathology images can only work in fixed integer magnifications, significantly decreasing their applicability. Though methods based on implicit neural representation have shown promising results in arbitrary-scale super-resolution of natural images, applying them directly to pathology images is inadequate because they have unique fine-grained image textures different from natural images. Thus, we propose an Implicit Self-Texture Enhancement-based dual-branch framework (ISTE) for arbitrary-scale super-resolution of pathology images to address this challenge. ISTE contains a pixel learning branch and a texture learning branch, which first learn pixel features and texture features, respectively. Then, we design a two-stage texture enhancement strategy to fuse the features from the two branches to obtain the super-resolution results, where the first stage is feature-based texture enhancement, and the second stage is spatial-domain-based texture enhancement. Extensive experiments on three public datasets show that ISTE outperforms existing fixed-scale and arbitrary-scale algorithms at multiple magnifications and helps to improve downstream task performance. To the best of our knowledge, this is the first work to achieve arbitrary-scale super-resolution in pathology images. Codes will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google