SEDMamba: Enhancing Selective State Space Modelling with Bottleneck Mechanism and Fine-to-Coarse Temporal Fusion for Efficient Error Detection in Robot-Assisted Surgery

要約

手術ミスの自動検出は、ロボット支援手術の改善につながる。有望な進歩にもかかわらず、既存の手法は、計算効率を維持しながら、長期的な依存関係を確立するために、豊富な時間的コンテキストをキャプチャするという課題に直面している。本論文では、選択的状態空間モデル（SSM）を手術エラー検出に組み込み、線形複雑度で効率的なロングシーケンスモデリングを容易にする、SEDMambaと名付けられた新しい階層モデルを提案する。SEDMambaは選択的SSMをボトルネック機構とFCTF（fine-to-coarse temporal fusion）で強化し、長時間の動画における手術エラーを検出し、時間的に局所化する。ボトルネックメカニズムは、空間次元内で特徴を圧縮・復元し、計算の複雑さを軽減する。FCTFは複数の拡張された1次元畳み込み層を利用し、多様なスケール範囲にわたって時間情報を統合することで、様々な持続時間のエラーに対応する。我々の研究はまた、実際の手術症例におけるエラー検出をサポートするために、世界初のフレームレベルの生体内手術エラーデータセットを提供する。具体的には、オープンソースの根治的前立腺摘除術データセット（SAR-RARP50）において、縫合作業中のエラーに注釈を付けるために、臨床的に検証された観察的臨床人間信頼性評価ツール（OCHRA）を導入した。実験の結果、我々のSEDMambaは、計算量を大幅に削減しながら、少なくとも1.82%のAUCと3.80%のAP性能向上で、最先端の手法を上回ることが実証された。対応するエラー注釈、コード、モデルはhttps://github.com/wzjialang/SEDMamba。

要約(オリジナル)

Automated detection of surgical errors can improve robotic-assisted surgery. Despite promising progress, existing methods still face challenges in capturing rich temporal context to establish long-term dependencies while maintaining computational efficiency. In this paper, we propose a novel hierarchical model named SEDMamba, which incorporates the selective state space model (SSM) into surgical error detection, facilitating efficient long sequence modelling with linear complexity. SEDMamba enhances selective SSM with a bottleneck mechanism and fine-to-coarse temporal fusion (FCTF) to detect and temporally localize surgical errors in long videos. The bottleneck mechanism compresses and restores features within their spatial dimension, thereby reducing computational complexity. FCTF utilizes multiple dilated 1D convolutional layers to merge temporal information across diverse scale ranges, accommodating errors of varying duration. Our work also contributes the first-of-its-kind, frame-level, in-vivo surgical error dataset to support error detection in real surgical cases. Specifically, we deploy the clinically validated observational clinical human reliability assessment tool (OCHRA) to annotate the errors during suturing tasks in an open-source radical prostatectomy dataset (SAR-RARP50). Experimental results demonstrate that our SEDMamba outperforms state-of-the-art methods with at least 1.82% AUC and 3.80% AP performance gains with significantly reduced computational complexity. The corresponding error annotations, code and models will be released at https://github.com/wzjialang/SEDMamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL