From Hours to Seconds: Towards 100x Faster Quantitative Phase Imaging via Differentiable Microscopy

要約

メタボロミクスから組織病理学までの幅広い用途に対応する定量的位相顕微鏡 (QPM) は、強力なラベルフリーイメージングモダリティです。
高速多重化イメージング センサーと深層学習ベースの逆ソルバーが大幅に進歩したにもかかわらず、QPM のスループットは現在、電子ハードウェアの速度によって制限されています。
補足的に、スループットをさらに向上させるために、ここでは、既存の電子ハードウェアのボトルネックを超えてより多くの情報を転送できるように、圧縮形式で画像を取得することを提案します。
この目的を達成するために、コンテンツ固有の機能を学習する学習可能な光学式圧縮/解凍フレームワークを紹介します。
提案された微分可能な定量的位相顕微鏡法 ($\partial \mu$) では、最初に学習可能な光学特徴抽出器を画像圧縮器として使用します。
これらのネットワークによって生成された強度表現は、画像センサーによってキャプチャされます。
最後に、電子ハードウェア上で実行される再構築ネットワークが QPM イメージを解凍します。
数値実験では、提案されたシステムは、セル上で $\sim 0.90$ の SSIM と $\sim 30$ dB の PSNR を維持しながら、$\times$ 64 の圧縮を達成しました。
私たちの実験によって実証された結果は、前例のないスループットの向上をもたらす可能性のある、エンドツーエンドで最適化された（つまり、光学および電子）コンパクトな QPM システムを実現するための新しい道を切り開きます。

要約(オリジナル)

With applications ranging from metabolomics to histopathology, quantitative phase microscopy (QPM) is a powerful label-free imaging modality. Despite significant advances in fast multiplexed imaging sensors and deep-learning-based inverse solvers, the throughput of QPM is currently limited by the speed of electronic hardware. Complementarily, to improve throughput further, here we propose to acquire images in a compressed form such that more information can be transferred beyond the existing electronic hardware bottleneck. To this end, we present a learnable optical compression-decompression framework that learns content-specific features. The proposed differentiable quantitative phase microscopy ($\partial \mu$) first uses learnable optical feature extractors as image compressors. The intensity representation produced by these networks is then captured by the imaging sensor. Finally, a reconstruction network running on electronic hardware decompresses the QPM images. In numerical experiments, the proposed system achieves compression of $\times$ 64 while maintaining the SSIM of $\sim 0.90$ and PSNR of $\sim 30$ dB on cells. The results demonstrated by our experiments open up a new pathway for achieving end-to-end optimized (i.e., optics and electronic) compact QPM systems that may provide unprecedented throughput improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google