要約
この研究では、新しい分析タスク、つまり結合セマンティック画像分割と教師なしノイズ除去の課題に取り組む方法である denoiSplit を紹介します。
この二重アプローチは、意味論的な画像分割が重要な用途を有する蛍光顕微鏡法において重要な用途を有するが、一般にノイズが画像内容の下流分析を妨げる。
画像の分割には、画像を識別可能な意味構造に分割することが含まれます。
このタスクに対する現在の最先端の方法は、画像ノイズの存在下では困難を伴い、誤って予測出力全体にノイズを分散させてしまうことを示します。
ここで紹介する方法は、教師なしノイズ除去サブタスクを統合することで画像ノイズに対処できます。
この統合により、顕著で現実的なレベルの画像ノイズが存在する場合でも、セマンティック画像の分離が改善されます。
denoiSplit の重要な革新は、特別に定式化されたノイズ モデルの使用と、トレーニングしている高次元の階層的潜在空間に対する KL 発散損失の適切な調整です。
実際の顕微鏡画像上で 4 つのタスクにわたる denoiSplit のパフォーマンスを紹介します。
さらに、定性的および定量的な評価を実行し、結果を既存のベンチマークと比較し、denoiSplit の使用の有効性を実証します。denoiSplit は、セマンティック分割とノイズ除去を共同で実行するために 2 つの適切なノイズ モデルを使用する単一の変分分割エンコーダー デコーダー (VSE) ネットワークです。
要約(オリジナル)
In this work we present denoiSplit, a method to tackle a new analysis task, i.e. the challenge of joint semantic image splitting and unsupervised denoising. This dual approach has important applications in fluorescence microscopy, where semantic image splitting has important applications but noise does generally hinder the downstream analysis of image content. Image splitting involves dissecting an image into its distinguishable semantic structures. We show that the current state-of-the-art method for this task struggles in the presence of image noise, inadvertently also distributing the noise across the predicted outputs. The method we present here can deal with image noise by integrating an unsupervised denoising sub-task. This integration results in improved semantic image unmixing, even in the presence of notable and realistic levels of imaging noise. A key innovation in denoiSplit is the use of specifically formulated noise models and the suitable adjustment of KL-divergence loss for the high-dimensional hierarchical latent space we are training. We showcase the performance of denoiSplit across 4 tasks on real-world microscopy images. Additionally, we perform qualitative and quantitative evaluations and compare results to existing benchmarks, demonstrating the effectiveness of using denoiSplit: a single Variational Splitting Encoder-Decoder (VSE) Network using two suitable noise models to jointly perform semantic splitting and denoising.
arxiv情報
| 著者 | Ashesh Ashesh,Florian Jug |
| 発行日 | 2024-03-25 08:54:33+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google