Differentiable Microscopy Designs an All Optical Quantitative Phase Microscope

要約

16世紀末にザカリアス・ヤンセンによって初めて顕微鏡が開発されて以来、科学者たちはさまざまな課題解決のために新しいタイプの顕微鏡を発明してきました。新しいアーキテクチャを発明するためには、数年、いや数十年分の科学的経験と創造性が要求されます。本研究では、科学者が解釈可能な新しい顕微鏡アーキテクチャを設計するのを支援するために、ディープラーニングに基づく設計パラダイムであるDifferentiable Microscopy ($JP) を導入します。微分可能な顕微鏡は、まず、一般的な物理ベースの光学系をモデル化しますが、しかし、光路上の重要な位置に学習可能な光学素子を備えています。そして、事前に取得したデータを用いて、目的のタスクに対してモデルをエンドツーエンドで学習させます。学習された設計案は、学習された光学要素を解釈することによって簡略化されます。最初のデモンストレーションとして、4-$f$光学系に基づき、計算によるポスト再構築を必要としない全光学定量位相顕微鏡（QPM）設計を発表した。また、文献調査を行った結果、この学習型アーキテクチャは20年前に開発された一般化位相差法に類似していることが示唆された。生体サンプルを含む複数のデータセットに対する我々の広範な実験により、我々の学習された全光学的なQPM設計が既存の方法を常に凌駕することが示された。また、空間光変調器を用いた光4-$f$システムベースのQPM設計の機能性を実験的に検証した。さらに、解釈不可能な学習に基づく手法、すなわち回折型ディープニューラルネットワーク（D2NN）によっても同様の結果が得られることを実証する。提案する微分可能な顕微鏡のフレームワークは、新しい光学系を設計する創造的なプロセスを補い、おそらく型破りではあるがより良い光学設計につながるだろう。

要約(オリジナル)

Ever since the first microscope by Zacharias Janssen in the late 16th century, scientists have been inventing new types of microscopes for various tasks. Inventing a novel architecture demands years, if not decades, worth of scientific experience and creativity. In this work, we introduce Differentiable Microscopy ($\partial\mu$), a deep learning-based design paradigm, to aid scientists design new interpretable microscope architectures. Differentiable microscopy first models a common physics-based optical system however with trainable optical elements at key locations on the optical path. Using pre-acquired data, we then train the model end-to-end for a task of interest. The learnt design proposal can then be simplified by interpreting the learnt optical elements. As a first demonstration, based on the optical 4-$f$ system, we present an all-optical quantitative phase microscope (QPM) design that requires no computational post-reconstruction. A follow-up literature survey suggested that the learnt architecture is similar to the generalized phase contrast method developed two decades ago. Our extensive experiments on multiple datasets that include biological samples show that our learnt all-optical QPM designs consistently outperform existing methods. We experimentally verify the functionality of the optical 4-$f$ system based QPM design using a spatial light modulator. Furthermore, we also demonstrate that similar results can be achieved by an uninterpretable learning based method, namely diffractive deep neural networks (D2NN). The proposed differentiable microscopy framework supplements the creative process of designing new optical systems and would perhaps lead to unconventional but better optical designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL