Self-Supervised Learning in Electron Microscopy: Towards a Foundation Model for Advanced Image Analysis

要約

この研究では、ラベルなしの電子顕微鏡データセットからの自己教師あり学習の可能性を探求し、この分野の基礎モデルの構築に向けて一歩を踏み出しました。
自己教師あり事前トレーニングによって、セマンティック セグメンテーション、ノイズ除去、ノイズと背景の除去、超解像など、一連の下流タスクの効率的な微調整がどのように促進されるかを示します。
モデルの複雑さと受容野のサイズを変えて実験を行うと、複雑性の低い微調整されたモデルが、ランダムな重み初期化を使用したより複雑なモデルよりも一貫して優れているという注目すべき現象が明らかになりました。
電子顕微鏡のコンテキストにおけるさまざまな下流タスクにわたる自己教師あり事前トレーニングの多用途性を実証し、より高速な収束とより優れたパフォーマンスを可能にします。
自己教師あり事前トレーニングは強力な触媒として機能し、利用可能な注釈付きデータが限られており、計算コストの効率的なスケーリングが重要な場合に特に有利であると結論付けています。

要約(オリジナル)

In this work, we explore the potential of self-supervised learning from unlabeled electron microscopy datasets, taking a step toward building a foundation model in this field. We show how self-supervised pretraining facilitates efficient fine-tuning for a spectrum of downstream tasks, including semantic segmentation, denoising, noise & background removal, and super-resolution. Experimentation with varying model complexities and receptive field sizes reveals the remarkable phenomenon that fine-tuned models of lower complexity consistently outperform more complex models with random weight initialization. We demonstrate the versatility of self-supervised pretraining across various downstream tasks in the context of electron microscopy, allowing faster convergence and better performance. We conclude that self-supervised pretraining serves as a powerful catalyst, being especially advantageous when limited annotated data are available and efficient scaling of computational cost are important.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google