Deep learning based domain adaptation for mitochondria segmentation on EM volumes

要約

脳の電子顕微鏡（EM）ボリュームの正確なセグメンテーションは、細胞またはオルガネラレベルで神経細胞構造を特徴付けるために不可欠である。教師あり深層学習法は、過去数年間にその方向で大きなブレークスルーをもたらしたが、通常、学習には大量のアノテーションデータを必要とし、同様の実験およびイメージング条件で取得した他のデータでは性能が低い。これは、あるサンプル分布（またはソースドメイン）から学習したモデルが、異なる分布またはターゲットドメインから抽出されたサンプルに対してその性能を維持するのに苦労するため、ドメイン適応として知られる問題である。本研究では、異なる組織や種からのEMデータセットにわたるミトコンドリアセグメンテーションのための深層学習ベースのドメイン適応の複雑なケースに対処する。我々は、（1）両ドメインの画像間の最先端のスタイル転送、（2）ラベルのないソースとターゲット画像を使用してモデルを事前訓練し、その後ソースラベルのみを使用して微調整する自己教師付き学習、および（3）ラベル付きとラベルなしの両方の画像でエンドツーエンドで訓練したマルチタスクネットワークアーキテクチャに基づいてターゲットドメインのミトコンドリアセグメント化を改善する3つの教師なしドメイン適応策を提示する。さらに、ソース領域のみで得られた形態素の事前分布に基づく新しい学習停止基準を提案する。我々は、一般に公開されている3つのEMデータセットを用いて、可能な限りのデータセット間実験を行った。我々は、ターゲットデータセット上で予測されたミトコンドリアの意味ラベルについて、提案した戦略を評価した。ここで紹介する手法は、ベースライン手法を上回り、最新技術と比較しても良好な結果であった。検証用ラベルがない場合、我々の提案する形態素に基づくメトリックを監視することは、学習プロセスを停止し、平均的に最適なモデルを選択するための直感的かつ効果的な方法である。

要約(オリジナル)

Accurate segmentation of electron microscopy (EM) volumes of the brain is essential to characterize neuronal structures at a cell or organelle level. While supervised deep learning methods have led to major breakthroughs in that direction during the past years, they usually require large amounts of annotated data to be trained, and perform poorly on other data acquired under similar experimental and imaging conditions. This is a problem known as domain adaptation, since models that learned from a sample distribution (or source domain) struggle to maintain their performance on samples extracted from a different distribution or target domain. In this work, we address the complex case of deep learning based domain adaptation for mitochondria segmentation across EM datasets from different tissues and species. We present three unsupervised domain adaptation strategies to improve mitochondria segmentation in the target domain based on (1) state-of-the-art style transfer between images of both domains; (2) self-supervised learning to pre-train a model using unlabeled source and target images, and then fine-tune it only with the source labels; and (3) multi-task neural network architectures trained end-to-end with both labeled and unlabeled images. Additionally, we propose a new training stopping criterion based on morphological priors obtained exclusively in the source domain. We carried out all possible cross-dataset experiments using three publicly available EM datasets. We evaluated our proposed strategies on the mitochondria semantic labels predicted on the target datasets. The methods introduced here outperform the baseline methods and compare favorably to the state of the art. In the absence of validation labels, monitoring our proposed morphology-based metric is an intuitive and effective way to stop the training process and select in average optimal models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL