EndoUIC: Promptable Diffusion Transformer for Unified Illumination Correction in Capsule Endoscopy

要約

ワイヤレス カプセル内視鏡 (WCE) は、非侵襲的で痛みのないアプローチで高く評価されていますが、ハードウェアの制約や複雑な内部ダイナミクスによる不均一な照明によって有効性が損なわれ、画像の露出オーバーまたは露出不足が発生します。
研究者らは WCE における低照度強化の課題について議論してきましたが、さまざまな曝露レベルを補正する問題は依然として研究されていません。
これに取り組むために、エンドツーエンドのプロンプタブル拡散トランス (DiT) モデルを使用した WCE 統合照明補正ソリューションである EndoUIC を導入します。
私たちの作業では、イルミネーション プロンプト モジュールは、さまざまな露出レベルに適応するようにモデルをナビゲートし、目的の画像強調を実行します。その中で、アダプティブ プロンプト インテグレーション (API) モジュールとグローバル プロンプト スキャナ (GPS) モジュールが、モデル間での同時表現学習をさらに強化します。
プロンプトのパラメータと機能。
さらに、U 字型修復 DiT モデルは、統合照明修復のための長距離依存関係とコンテキスト情報をキャプチャします。
さらに、専門の写真家によって注釈が付けられたグラウンドトゥルース画像と破損画像のペアを含む、新しいカプセル内視鏡露出補正 (CEC) データセットを紹介します。
4 つのデータセットに対するさまざまな最先端 (SOTA) 手法に対する広範な実験により、WCE 照明復元における私たちの提案した手法とコンポーネントの有効性が示され、追加の下流実験では、臨床診断と外科支援におけるその有用性がさらに実証されました。

要約(オリジナル)

Wireless Capsule Endoscopy (WCE) is highly valued for its non-invasive and painless approach, though its effectiveness is compromised by uneven illumination from hardware constraints and complex internal dynamics, leading to overexposed or underexposed images. While researchers have discussed the challenges of low-light enhancement in WCE, the issue of correcting for different exposure levels remains underexplored. To tackle this, we introduce EndoUIC, a WCE unified illumination correction solution using an end-to-end promptable diffusion transformer (DiT) model. In our work, the illumination prompt module shall navigate the model to adapt to different exposure levels and perform targeted image enhancement, in which the Adaptive Prompt Integration (API) and Global Prompt Scanner (GPS) modules shall further boost the concurrent representation learning between the prompt parameters and features. Besides, the U-shaped restoration DiT model shall capture the long-range dependencies and contextual information for unified illumination restoration. Moreover, we present a novel Capsule-endoscopy Exposure Correction (CEC) dataset, including ground-truth and corrupted image pairs annotated by expert photographers. Extensive experiments against a variety of state-of-the-art (SOTA) methods on four datasets showcase the effectiveness of our proposed method and components in WCE illumination restoration, and the additional downstream experiments further demonstrate its utility for clinical diagnosis and surgical assistance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google