Segment Anything Model for Zero-shot Single Particle Tracking in Liquid Phase Transmission Electron Microscopy

要約

液相透過電子顕微鏡 (LPTEM) は、比類のない空間分解能と時間分解能の組み合わせを提供し、ナノスケールでの単一粒子追跡の有望なツールとなっています。
しかし、ノイズの多い LPTEM ビデオ内のナノ粒子を識別および追跡するための標準化されたフレームワークが存在しないため、単一粒子追跡ツールとしてこの技術を開発するこの分野の進歩が妨げられています。
これに対処するために、Meta によってリリースされた Segment Anything Model 2 (SAM 2) を活用しました。これは、ビデオと画像をセグメント化するために開発された基盤モデルです。
ここでは、SAM 2 が微調整を必要とせずにゼロショット方式で LPTEM ビデオを正常にセグメント化できることを示します。
この機能に基づいて、プロンプト表示可能なビデオ セグメンテーションと粒子追跡および統計分析を統合する包括的なフレームワークである SAM4EM を導入し、単一粒子追跡のためのエンドツーエンドの LPTEM 分析フレームワークを提供します。
SAM4EM は、最先端の方法と比較して LPTEM ビデオのセグメント化と分析において 50 倍近く高い精度を達成し、ナノスケール イメージングにおける LPTEM のより広範なアプリケーションへの道を開きます。

要約(オリジナル)

Liquid phase transmission electron microscopy (LPTEM) offers an unparalleled combination of spatial and temporal resolution, making it a promising tool for single particle tracking at the nanoscale. However, the absence of a standardized framework for identifying and tracking nanoparticles in noisy LPTEM videos has impeded progress in the field to develop this technique as a single particle tracking tool. To address this, we leveraged Segment Anything Model 2 (SAM 2), released by Meta, which is a foundation model developed for segmenting videos and images. Here, we demonstrate that SAM 2 can successfully segment LPTEM videos in a zero-shot manner and without requiring fine-tuning. Building on this capability, we introduce SAM4EM, a comprehensive framework that integrates promptable video segmentation with particle tracking and statistical analysis, providing an end-to-end LPTEM analysis framework for single particle tracking. SAM4EM achieves nearly 50-fold higher accuracy in segmenting and analyzing LPTEM videos compared to state-of-the-art methods, paving the way for broader applications of LPTEM in nanoscale imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google