Synergistic Bleeding Region and Point Detection in Laparoscopic Surgical Videos

要約

腹腔鏡手術における術中出血は、手術分野の急速な不明瞭さを引き起こし、外科的プロセスを妨害し、術後合併症のリスクを高めます。
出血領域のインテリジェントな検出は、失血を定量化して意思決定を支援することができますが、出血ポイントを見つけることで、外科医が出血の原因を迅速に特定し、外科的成功率を改善するために時間内に止血を達成することができます。
この研究では、最初に、出血領域とポイント注釈を備えた95の外科的ビデオクリップから5,330フレームで構成されるSurgbloodという名前の実際の腹腔鏡外科出血データセットを構築します。
したがって、腹腔鏡手術の出血領域とポイントの同時検出を実行するように設計されたBloodetと呼ばれるデュアルタスクの相乗的オンライン検出器を開発します。
私たちのフレームワークには、セグメントに基づいてモデル2（SAM 2）に基づいて、デュアルブランチの双方向ガイダンス設計を取り入れています。
マスク分岐は、適応エッジとポイントプロンプトの埋め込みを介して出血領域を検出し、ポイントブランチはマスクメモリをレバレッジして出血点メモリモデリングを誘導し、フレーム間光フローを介してブリードポイントの動きの方向をキャプチャします。
双方向のガイダンスにより、2つのブランチは潜在的な空間的関係を調査しながら、メモリモデリングを活用して現在の出血状態を推測します。
広範な実験は、私たちのベースラインが、出血領域とポイント検出の両方で外科胞子の12の対応物を上回ることを示しています。

要約(オリジナル)

Intraoperative bleeding in laparoscopic surgery causes rapid obscuration of the operative field to hinder the surgical process and increases the risk of postoperative complications. Intelligent detection of bleeding areas can quantify the blood loss to assist decision-making, while locating bleeding points helps surgeons quickly identify the source of bleeding and achieve hemostasis in time to improve surgical success rates. In this study, we first construct a real-world laparoscopic surgical bleeding detection dataset, named SurgBlood, comprising 5,330 frames from 95 surgical video clips with bleeding region and point annotations. Accordingly, we develop a dual-task synergistic online detector called BlooDet, designed to perform simultaneous detection of bleeding regions and points in laparoscopic surgery. Our framework embraces a dual-branch bidirectional guidance design based on Segment Anything Model 2 (SAM 2). The mask branch detects bleeding regions through adaptive edge and point prompt embeddings, and the point branch leverages mask memory to induce bleeding point memory modeling and capture the direction of bleed point movement via inter-frame optical flow. By bidirectional guidance, the two branches explore potential spatial-temporal relationships while leveraging memory modeling to infer the current bleeding condition. Extensive experiments demonstrate that our baseline outperforms 12 counterparts on SurgBlood in both bleeding region and point detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google