A Real-time Endoscopic Image Denoising System

要約

小型化された設計を備えた内視鏡は、医療処置の侵襲性を大幅に減らしながら、運用上の柔軟性、携帯性、診断能力を大幅に向上させています。
最近、1mm x 1mm未満の超コンパクトなアナログイメージセンサーを備えたシングル使用内視鏡を、革新的な進歩を医療診断にもたらします。
それらは、再利用可能なデバイスに関連する構造的冗長性と大規模な資本支出を減らし、不十分な消毒によって引き起こされる患者感染のリスクを排除し、患者の苦しみを緩和します。
ただし、光感受性領域が限られているため、ピクセルあたりの光子捕獲が減少し、適切な輝度を維持するためにより高い光子感度設定が必要です。
高コントラストの医療イメージングシナリオでは、小さなサイズのセンサーは制約されたダイナミックレンジを示し、ハイライトと影の両方で詳細を同時にキャプチャすることを困難にし、補償するために追加のローカライズされたデジタルゲインが必要です。
さらに、単純化された回路設計とアナログ信号伝送により、追加のノイズ源が導入されます。
これらの要因は、加工された内視鏡画像の重大な騒音の問題にまとめて寄与しています。
この作業では、医療内視鏡のアナログイメージセンサーの包括的なノイズモデルを開発し、固定パターンノイズ、周期的なバンディングノイズ、および混合ポアソンガウスノイズの3つの主要なノイズタイプに対処しました。
この分析に基づいて、従来の画像処理アルゴリズムとセンサーからキャプチャされた生フレームの高度な学習ベースの手法を相乗的に組み合わせたハイブリッド除去システムを提案します。
実験は、私たちのアプローチにより、詳細な損失や色の歪みなしに画像ノイズを効果的に減らし、FPGAプラットフォームでリアルタイムのパフォーマンスを達成し、テストデータセットで平均PSNR改善を達成します。

要約(オリジナル)

Endoscopes featuring a miniaturized design have significantly enhanced operational flexibility, portability, and diagnostic capability while substantially reducing the invasiveness of medical procedures. Recently, single-use endoscopes equipped with an ultra-compact analogue image sensor measuring less than 1mm x 1mm bring revolutionary advancements to medical diagnosis. They reduce the structural redundancy and large capital expenditures associated with reusable devices, eliminate the risk of patient infections caused by inadequate disinfection, and alleviate patient suffering. However, the limited photosensitive area results in reduced photon capture per pixel, requiring higher photon sensitivity settings to maintain adequate brightness. In high-contrast medical imaging scenarios, the small-sized sensor exhibits a constrained dynamic range, making it difficult to simultaneously capture details in both highlights and shadows, and additional localized digital gain is required to compensate. Moreover, the simplified circuit design and analog signal transmission introduce additional noise sources. These factors collectively contribute to significant noise issues in processed endoscopic images. In this work, we developed a comprehensive noise model for analog image sensors in medical endoscopes, addressing three primary noise types: fixed-pattern noise, periodic banding noise, and mixed Poisson-Gaussian noise. Building on this analysis, we propose a hybrid denoising system that synergistically combines traditional image processing algorithms with advanced learning-based techniques for captured raw frames from sensors. Experiments demonstrate that our approach effectively reduces image noise without fine detail loss or color distortion, while achieving real-time performance on FPGA platforms and an average PSNR improvement from 21.16 to 33.05 on our test dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google