Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning

要約

外科的ビデオセグメンテーションは、コンピューター支援手術における重要なタスクであり、手術の質と患者の転帰を高めるために不可欠です。
最近、セグメントAnything Model 2（SAM2）フレームワークは、画像およびビデオセグメンテーションの優れた進歩を示しています。
ただし、SAM2は、手術ビデオで高解像度画像と複雑で長距離の時間的ダイナミクスを処理するための高い計算需要のために効率に苦しんでいます。
これらの課題に対処するために、リアルタイムの外科的ビデオセグメンテーションを容易にするために、効率的なフレームプルーニング（EFP）メカニズムでSAM2を利用する高度なモデルであるSurgical SAM 2（SurgSAM2）を導入します。
EFPメカニズムは、最も有益なフレームのみを選択的に保持することにより、メモリバンクを動的に管理し、高いセグメンテーションの精度を維持しながらメモリの使用量と計算コストを削減します。
私たちの広範な実験は、Surgsam2がバニラSAM2と比較して効率とセグメンテーションの精度の両方を大幅に改善することを示しています。
驚くべきことに、SurgSam2はSAM2と比較して3 $ \ Times $ FPSを達成し、低解像度データで微調整した後に最新のパフォーマンスも提供します。
これらの進歩により、SurgSAM2は外科的ビデオ分析の主要なモデルとして確立され、リソースが制約された環境でのリアルタイムの外科的ビデオセグメンテーションを現実にします。
ソースコードは、https：//github.com/jinlab-imvr/surgical-sam-2で入手できます。

要約(オリジナル)

Surgical video segmentation is a critical task in computer-assisted surgery and is vital for enhancing surgical quality and patient outcomes. Recently, the Segment Anything Model 2 (SAM2) framework has shown superior advancements in image and video segmentation. However, SAM2 struggles with efficiency due to the high computational demands of processing high-resolution images and complex and long-range temporal dynamics in surgical videos. To address these challenges, we introduce Surgical SAM 2 (SurgSAM2), an advanced model to utilize SAM2 with an Efficient Frame Pruning (EFP) mechanism, to facilitate real-time surgical video segmentation. The EFP mechanism dynamically manages the memory bank by selectively retaining only the most informative frames, reducing memory usage and computational cost while maintaining high segmentation accuracy. Our extensive experiments demonstrate that SurgSAM2 significantly improves both efficiency and segmentation accuracy compared to the vanilla SAM2. Remarkably, SurgSAM2 achieves a 3$\times$ FPS compared with SAM2, while also delivering state-of-the-art performance after fine-tuning with lower-resolution data. These advancements establish SurgSAM2 as a leading model for surgical video analysis, making real-time surgical video segmentation in resource-constrained environments a reality. Our source code is available at https://github.com/jinlab-imvr/Surgical-SAM-2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google