Less is More? Revisiting the Importance of Frame Rate in Real-Time Zero-Shot Surgical Video Segmentation

要約

リアルタイムのビデオセグメンテーションは、AIアシスト手術の有望な特徴であり、手術ツールと解剖学的構造を特定することにより術中のガイダンスを提供します。
ただし、SAM2などの最先端のセグメンテーションモデルをリアルタイム設定で展開することは計算的に要求が厳しいため、フレームレートとセグメンテーションのパフォーマンスのバランスをとることが不可欠です。
この研究では、ゼロショットの外科的ビデオセグメンテーションに対するフレームレートの影響を調査し、胆嚢摘出術の複数のフレームサンプリングレートにわたるSAM2の有効性を評価します。
驚くべきことに、我々の調査結果は、従来の評価設定では、1秒あたりの単一フレームの低いフレームレートが25 fpsを上回る可能性があることを示しています。
ただし、リアルタイムストリーミングシナリオで評価されると、特に外科的グレーラーズなどの動的なオブジェクトでは、フレームレートが高い場合、優れた時間的一貫性と安定性が得られます。
最後に、そのようなデータと緊密に連携している専門家のリアルタイム外科ビデオセグメンテーションの人間の認識を調査し、回答者が一貫して高いFPSセグメンテーションマスクオーバーレイを好むことを発見し、AIアシスト手術におけるリアルタイム評価の重要性を強化します。

要約(オリジナル)

Real-time video segmentation is a promising feature for AI-assisted surgery, providing intraoperative guidance by identifying surgical tools and anatomical structures. However, deploying state-of-the-art segmentation models, such as SAM2, in real-time settings is computationally demanding, which makes it essential to balance frame rate and segmentation performance. In this study, we investigate the impact of frame rate on zero-shot surgical video segmentation, evaluating SAM2’s effectiveness across multiple frame sampling rates for cholecystectomy procedures. Surprisingly, our findings indicate that in conventional evaluation settings, frame rates as low as a single frame per second can outperform 25 FPS, as fewer frames smooth out segmentation inconsistencies. However, when assessed in a real-time streaming scenario, higher frame rates yield superior temporal coherence and stability, particularly for dynamic objects such as surgical graspers. Finally, we investigate human perception of real-time surgical video segmentation among professionals who work closely with such data and find that respondents consistently prefer high FPS segmentation mask overlays, reinforcing the importance of real-time evaluation in AI-assisted surgery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google