DeepContrast: Deep Tissue Contrast Enhancement using Synthetic Data Degradations and OOD Model Predictions

要約

顕微鏡画像は生命科学研究にとって極めて重要であり、細胞および組織レベルの構造と機能の詳細な検査と特性評価を可能にします。
ただし、顕微鏡データは、ノイズ、ぼやけなどの画像劣化の影響を受けることは避けられません。
このような劣化の多くは画像コントラストの損失にも寄与し、これは特に厚いサンプルの深い領域で顕著になります。
現在、画像の品質を向上させるための最もパフォーマンスの高い方法は深層学習アプローチに基づいており、通常、トレーニング中にグラウンド トゥルース (GT) データが必要です。
サンプルの奥深くまでイメージングする場合、ぼやけやコントラストの低下に対処できないため、このようなきれいな GT データの取得が妨げられます。
組織深部におけるぼやけとコントラスト損失の前方プロセスをモデル化できるという事実により、取得できない GT データの問題を回避できる新しい方法を提案することができました。
この目的を達成するために、まず深部組織画像の劣化に対する近似順モデルを使用することにより、顕微鏡画像の品質をさらに総合的に低下させました。
次に、生成された生画像と劣化画像のペアからこの劣化関数の逆関数を学習するニューラル ネットワークをトレーニングしました。
私たちは、この方法でトレーニングされたネットワークを配布外 (OOD) で使用して、それほど劣化の少ない画像の品質を向上できることを実証しました。
顕微鏡で撮影した生データ。
このような顕微鏡画像の劣化の絶対レベルは、フォワード モデルによって導入される追加の劣化よりも強い可能性があるため、反復予測の効果も調査しました。
ここで、反復ごとに、測定された画像のコントラストが向上し続ける一方で、画像内の詳細な構造がどんどん除去されていることを観察しました。
したがって、必要な下流の分析に応じて、コントラストの向上と画像の詳細の保持の間のバランスを見つける必要があります。

要約(オリジナル)

Microscopy images are crucial for life science research, allowing detailed inspection and characterization of cellular and tissue-level structures and functions. However, microscopy data are unavoidably affected by image degradations, such as noise, blur, or others. Many such degradations also contribute to a loss of image contrast, which becomes especially pronounced in deeper regions of thick samples. Today, best performing methods to increase the quality of images are based on Deep Learning approaches, which typically require ground truth (GT) data during training. Our inability to counteract blurring and contrast loss when imaging deep into samples prevents the acquisition of such clean GT data. The fact that the forward process of blurring and contrast loss deep into tissue can be modeled, allowed us to propose a new method that can circumvent the problem of unobtainable GT data. To this end, we first synthetically degraded the quality of microscopy images even further by using an approximate forward model for deep tissue image degradations. Then we trained a neural network that learned the inverse of this degradation function from our generated pairs of raw and degraded images. We demonstrated that networks trained in this way can be used out-of-distribution (OOD) to improve the quality of less severely degraded images, e.g. the raw data imaged in a microscope. Since the absolute level of degradation in such microscopy images can be stronger than the additional degradation introduced by our forward model, we also explored the effect of iterative predictions. Here, we observed that in each iteration the measured image contrast kept improving while detailed structures in the images got increasingly removed. Therefore, dependent on the desired downstream analysis, a balance between contrast improvement and retention of image details has to be found.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google