Leveraging Classic Deconvolution and Feature Extraction in Zero-Shot Image Restoration

要約

非盲検デコンボリューションは、得られたカーネルが与えられた場合に、ぼやけた対応画像から鮮明な画像を復元することを目的としている。既存のディープニューラルアーキテクチャは、多くの場合、シャープなグランドトゥルース画像の大規模なデータセットに基づいて構築され、監視付きで学習される。しかし、シャープで高品質なグランドトゥルース画像は、特にバイオメディカル用途では、必ずしも入手できるとは限らない。このことが、現在のアプローチの実用性を著しく阻害している。本稿では、ディープラーニングと古典的な反復デコンボリューションアルゴリズムの力を活用した、新しい非盲検デコンボリューション法を提案する。我々のアプローチは、入力画像から深い特徴を抽出するために事前に訓練されたネットワークと、反復的なリチャードソン-ルーシーデコンボリューションステップを組み合わせる。その後、デコンボリューションされた特徴を統合するためにゼロショット最適化プロセスが採用され、高品質な再構成画像が得られる。古典的な反復デコンボリューション法を用いて予備再構成を行うことで、最終画像を生成するために、より小さなネットワークを効果的に利用することができる。我々の手法は、様々な実世界のアプリケーションにおいて、非盲検デコンボリューションタスクの大幅な改善を実証している。

要約(オリジナル)

Non-blind deconvolution aims to restore a sharp image from its blurred counterpart given an obtained kernel. Existing deep neural architectures are often built based on large datasets of sharp ground truth images and trained with supervision. Sharp, high quality ground truth images, however, are not always available, especially for biomedical applications. This severely hampers the applicability of current approaches in practice. In this paper, we propose a novel non-blind deconvolution method that leverages the power of deep learning and classic iterative deconvolution algorithms. Our approach combines a pre-trained network to extract deep features from the input image with iterative Richardson-Lucy deconvolution steps. Subsequently, a zero-shot optimisation process is employed to integrate the deconvolved features, resulting in a high-quality reconstructed image. By performing the preliminary reconstruction with the classic iterative deconvolution method, we can effectively utilise a smaller network to produce the final image, thus accelerating the reconstruction whilst reducing the demand for valuable computational resources. Our method demonstrates significant improvements in various real-world applications non-blind deconvolution tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL