LLCaps: Learning to Illuminate Low-Light Capsule Endoscopy with Curved Wavelet Attention and Reverse Diffusion

要約

ワイヤレス カプセル内視鏡 (WCE) は、胃腸 (GI) 疾患の無痛かつ非侵襲的な診断ツールです。
ただし、消化管の解剖学的制約とハードウェア製造の制限により、WCE 視覚信号の照明が不十分になる可能性があり、その結果、スクリーニングと検査手順が複雑になります。
医療分野における深層学習ベースの低照度画像強調 (LLIE) は、徐々に研究者を魅了しています。
コンピューター ビジョンにおけるノイズ除去拡散確率モデル (DDPM) の活発な開発を考慮して、マルチスケール畳み込みニューラル ネットワーク (CNN) と逆拡散プロセスに基づく WCE LLIE フレームワークを紹介します。
マルチスケール設計により、モデルが高解像度の表現と低解像度のコンテキスト情報を保存できるようになり、高周波および局所特徴の学習にはカーブレット アテンション (CWA) ブロックが提案されています。
さらに、逆拡散手順を組み合わせて浅い出力をさらに最適化し、最もリアルな画像を生成します。
提案された方法は、10 の最先端 (SOTA) LLIE 方法と比較され、量的および質的に大幅に優れています。
消化管疾患のセグメンテーションにおける優れたパフォーマンスは、我々が提案したモデルの臨床的可能性をさらに実証しています。
私たちのコードは公開されています。

要約(オリジナル)

Wireless capsule endoscopy (WCE) is a painless and non-invasive diagnostic tool for gastrointestinal (GI) diseases. However, due to GI anatomical constraints and hardware manufacturing limitations, WCE vision signals may suffer from insufficient illumination, leading to a complicated screening and examination procedure. Deep learning-based low-light image enhancement (LLIE) in the medical field gradually attracts researchers. Given the exuberant development of the denoising diffusion probabilistic model (DDPM) in computer vision, we introduce a WCE LLIE framework based on the multi-scale convolutional neural network (CNN) and reverse diffusion process. The multi-scale design allows models to preserve high-resolution representation and context information from low-resolution, while the curved wavelet attention (CWA) block is proposed for high-frequency and local feature learning. Furthermore, we combine the reverse diffusion procedure to further optimize the shallow output and generate the most realistic image. The proposed method is compared with ten state-of-the-art (SOTA) LLIE methods and significantly outperforms quantitatively and qualitatively. The superior performance on GI disease segmentation further demonstrates the clinical potential of our proposed model. Our code is publicly accessible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google