Solving the inverse problem of microscopy deconvolution with a residual Beylkin-Coifman-Rokhlin neural network

要約

光学顕微鏡（LM）における光学デコンボリューションとは、画像から対象物の詳細を復元し、サンプルの真実を明らかにすることである。LMにおける従来の明示的手法は、画像取得時の点広がり関数（PSF）に依存している。しかし、これらのアプローチは、不正確なPSFモデルやノイズアーチファクトのためにしばしば失敗し、全体的な復元品質を妨げている。本論文では、光学デコンボリューションを逆問題としてアプローチする。Beylkin、Coifman、Rokhlin(BCR)によって導入された非標準形圧縮スキームに動機づけられ、我々は、光学デコンボリューションを近似するための革新的な物理情報ニューラルネットワークMulti-Stage Residual-BCR Net(m-rBCR)を提案した。m-rBCRモデルを4つの顕微鏡データセット（ImageNetとBioSRの2つの模擬顕微鏡データセット、実際のdSTORM顕微鏡画像、実際の広視野顕微鏡画像）で検証した。明示的デコンボリューション法（例えばRichardson-Lucy）や他の最先端NNモデル（U-Net, DDPM, CARE, DnCNN, ESRGAN, RCAN, Noise2Noise, MPRNet, MIMO-U-Net）とは対照的に、m-rBCRモデルは2つの実顕微鏡データセットと模擬BioSRデータセットにおいて、PSNRとSSIMによって他の候補よりも優れた性能を示した。模擬ImageNetデータセットでは、m-rBCRは（MIMO-U-Netに次いで）第2位にランクされている。光学物理学からのバックボーンにより、m-rBCRはより優れたパフォーマンスで学習可能なパラメータを利用する（ベンチマークであるMIMO-U-Netの～30倍からESRGANの～210倍まで）。これにより、m-rBCRはより短い実行時間（MIMO-U-Netの～3倍からDDPMの～300倍）を達成することができる。要約すると、物理制約を活用することで、我々のモデルは専門家指向のNN候補において潜在的に冗長なパラメータを大幅に削減し、優れた性能で高い効率を達成した。

要約(オリジナル)

Optic deconvolution in light microscopy (LM) refers to recovering the object details from images, revealing the ground truth of samples. Traditional explicit methods in LM rely on the point spread function (PSF) during image acquisition. Yet, these approaches often fall short due to inaccurate PSF models and noise artifacts, hampering the overall restoration quality. In this paper, we approached the optic deconvolution as an inverse problem. Motivated by the nonstandard-form compression scheme introduced by Beylkin, Coifman, and Rokhlin (BCR), we proposed an innovative physics-informed neural network Multi-Stage Residual-BCR Net (m-rBCR) to approximate the optic deconvolution. We validated the m-rBCR model on four microscopy datasets – two simulated microscopy datasets from ImageNet and BioSR, real dSTORM microscopy images, and real widefield microscopy images. In contrast to the explicit deconvolution methods (e.g. Richardson-Lucy) and other state-of-the-art NN models (U-Net, DDPM, CARE, DnCNN, ESRGAN, RCAN, Noise2Noise, MPRNet, and MIMO-U-Net), the m-rBCR model demonstrates superior performance to other candidates by PSNR and SSIM in two real microscopy datasets and the simulated BioSR dataset. In the simulated ImageNet dataset, m-rBCR ranks the second-best place (right after MIMO-U-Net). With the backbone from the optical physics, m-rBCR exploits the trainable parameters with better performances (from ~30 times fewer than the benchmark MIMO-U-Net to ~210 times than ESRGAN). This enables m-rBCR to achieve a shorter runtime (from ~3 times faster than MIMO-U-Net to ~300 times faster than DDPM). To summarize, by leveraging physics constraints our model reduced potentially redundant parameters significantly in expertise-oriented NN candidates and achieved high efficiency with superior performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL