μSplit: efficient image decomposition for microscopy data

要約

蛍光顕微鏡画像のコンテキストで訓練された画像分解のための専用アプローチであるuSplitを紹介します。
トレーニング中に大きな画像パッチを使用すると、通常のディープ アーキテクチャを使用して最良の結果が得られることがわかりました。これにより、メモリ消費が制限要因となり、パフォーマンスがさらに向上します。
したがって、強力なネットワークをトレーニングするためのメモリ効率の良い方法であるラテラル コンテキスト化 (LC) を導入し、LC が目前のタスクの一貫した大幅な改善につながることを示します。
LC を U-Net、階層型 AE、および階層型 VAE と統合し、修正 ELBO 損失を定式化します。
さらに、LC は、他の方法よりも深い階層モデルのトレーニングを可能にし、興味深いことに、タイル化された VAE 予測を使用する場合に本質的に回避することが不可能なタイル化アーティファクトを減らすのに役立ちます。
uSplit を 5 つの分解タスクに適用します。1 つは合成データセット、もう 4 つは実際の顕微鏡データから派生したものです。
LC は SOTA の結果 (2.36 dB PSNR の最良のベースラインに対する平均的な改善) を達成すると同時に、必要な GPU メモリを大幅に削減します。

要約(オリジナル)

We present uSplit, a dedicated approach for trained image decomposition in the context of fluorescence microscopy images. We find that best results using regular deep architectures are achieved when large image patches are used during training, making memory consumption the limiting factor to further improving performance. We therefore introduce lateral contextualization (LC), a memory efficient way to train powerful networks and show that LC leads to consistent and significant improvements on the task at hand. We integrate LC with U-Nets, Hierarchical AEs, and Hierarchical VAEs, for which we formulate a modified ELBO loss. Additionally, LC enables training deeper hierarchical models than otherwise possible and, interestingly, helps to reduce tiling artefacts that are inherently impossible to avoid when using tiled VAE predictions. We apply uSplit to five decomposition tasks, one on a synthetic dataset, four others derived from real microscopy data. LC achieves SOTA results (average improvements to the best baseline of 2.36 dB PSNR), while simultaneously requiring considerably less GPU memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google