Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning

要約

手術ビデオのセグメンテーションは、コンピュータ支援手術における重要なタスクであり、手術の品質と患者の転帰を向上させるために不可欠です。
最近、Segment Anything Model 2 (SAM2) フレームワークは、画像とビデオのセグメンテーションにおいて優れた進歩を示しました。
ただし、SAM2 は、高解像度画像の処理や手術ビデオの複雑で長距離の時間ダイナミクスの処理に高い計算量が必要となるため、効率性の面で苦労しています。
これらの課題に対処するために、Surgical SAM 2 (SurgSAM-2) を導入しました。これは、SAM2 と Efficient Frame Pruning (EFP) メカニズムを利用して、リアルタイムの手術ビデオ セグメンテーションを容易にする高度なモデルです。
EFP メカニズムは、最も有益なフレームのみを選択的に保持することでメモリ バンクを動的に管理し、高いセグメンテーション精度を維持しながらメモリ使用量と計算コストを削減します。
私たちの広範な実験により、SurgSAM-2 はバニラ SAM2 と比較して効率とセグメンテーション精度の両方が大幅に向上することが実証されました。
驚くべきことに、SurgSAM-2 は SAM2 と比較して 3$\times$ の FPS を達成しながら、低解像度のデータで微調整した後も最先端のパフォーマンスを実現します。
これらの進歩により、SurgSAM-2 は手術ビデオ分析の主要なモデルとして確立され、リソースに制約のある環境でのリアルタイムの手術ビデオ セグメンテーションが実現可能になります。

要約(オリジナル)

Surgical video segmentation is a critical task in computer-assisted surgery and is vital for enhancing surgical quality and patient outcomes. Recently, the Segment Anything Model 2 (SAM2) framework has shown superior advancements in image and video segmentation. However, SAM2 struggles with efficiency due to the high computational demands of processing high-resolution images and complex and long-range temporal dynamics in surgical videos. To address these challenges, we introduce Surgical SAM 2 (SurgSAM-2), an advanced model to utilize SAM2 with an Efficient Frame Pruning (EFP) mechanism, to facilitate real-time surgical video segmentation. The EFP mechanism dynamically manages the memory bank by selectively retaining only the most informative frames, reducing memory usage and computational cost while maintaining high segmentation accuracy. Our extensive experiments demonstrate that SurgSAM-2 significantly improves both efficiency and segmentation accuracy compared to the vanilla SAM2. Remarkably, SurgSAM-2 achieves a 3$\times$ FPS compared with SAM2, while also delivering state-of-the-art performance after fine-tuning with lower-resolution data. These advancements establish SurgSAM-2 as a leading model for surgical video analysis, making real-time surgical video segmentation in resource-constrained environments a feasible reality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google