MicroSSIM: Improved Structural Similarity for Comparing Microscopy Data

要約

顕微鏡検査は、関心のある生物学的構造を画像化するために日常的に使用されます。
画像の制約により、取得された画像は通常、SNR が低く、ノイズが含まれます。
ここ数年、教師なしノイズ除去や分割などの回帰ベースのタスクが、このようなノイズの多い顕微鏡写真の処理に有用であることがわかりました。
評価には、構造類似性 (SSIM) がこの分野で使用される最も一般的な尺度の 1 つです。
このようなタスクの場合、最良の評価は、低 SNR のノイズのある画像と、対応する高 SNR のきれいな画像の両方が顕微鏡から直接取得される場合です。
ただし、顕微鏡データの次の 3 つの特有の特性により、SSIM はこのデータ領域にはあまり適していないことがわかります。(a) 高 SNR の顕微鏡写真は、低 SNR の顕微鏡写真と比較してピクセルの強度が高くなります。
SNR 顕微鏡写真には、自然画像 (SSIM が開発された画像) よりも高いピクセル強度があり、(c) 顕微鏡内にある検出器によってデジタル構成可能なオフセットが追加されます。
低 SNR 入力から生成された予測が対応する高 SNR データと比較された場合、SSIM コンポーネントが予期せぬ動作をすることを示します。
この動作は、SSIM コンポーネントの値が画像間の (非) 類似性の影響をあまり受けなくなる飽和現象を導入することで説明します。
上記の問題を解決する、SSIM の変形である microSSIM を紹介します。
理論的および経験的な議論を使用して microSSIM の健全性と有用性を正当化し、教師なしノイズ除去と教師なしノイズ除去による結合画像分割という 2 つのタスクにおける microSSIM の有用性を示します。
私たちの定式化は幅広い SSIM ベースの測定に適用できるため、MS-SSIM の顕微鏡固有のバリエーションである MicroMS3IM も紹介します。
ソース コードと Python パッケージは https://github.com/juglab/MicroSSIM で入手できます。

要約(オリジナル)

Microscopy is routinely used to image biological structures of interest. Due to imaging constraints, acquired images are typically low-SNR and contain noise. Over the last few years, regression-based tasks like unsupervised denoising and splitting have found utility in working with such noisy micrographs. For evaluation, Structural Similarity (SSIM) is one of the most popular measures used in the field. For such tasks, the best evaluation would be when both low-SNR noisy images and corresponding high-SNR clean images are obtained directly from a microscope. However, due to the following three peculiar properties of the microscopy data, we observe that SSIM is not well suited to this data regime: (a) high-SNR micrographs have higher intensity pixels as compared to low SNR micrographs, (b) high-SNR micrographs have higher intensity pixels than found in natural images, images for which SSIM was developed, and (c) a digitally configurable offset is added by the detector present inside the microscope. We show that SSIM components behave unexpectedly when the prediction generated from low-SNR input is compared with the corresponding high-SNR data. We explain this behavior by introducing the phenomenon of saturation, where the value of SSIM components becomes less sensitive to (dis)similarity between the images. We introduce microSSIM, a variant of SSIM, which overcomes the above-discussed issues. We justify the soundness and utility of microSSIM using theoretical and empirical arguments and show the utility of microSSIM on two tasks: unsupervised denoising and joint image splitting with unsupervised denoising. Since our formulation can be applied to a broad family of SSIM-based measures, we also introduce MicroMS3IM, a microscopy-specific variation of MS-SSIM. The source code and python package is available at https://github.com/juglab/MicroSSIM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google