Semantic-SuPer: A Semantic-aware Surgical Perception Framework for Endoscopic Tissue Identification, Reconstruction, and Tracking

要約

手術シーンの正確で堅牢な追跡と再構成は、自律型ロボット手術に向けた重要な実現技術です。
手術における 3D 知覚のための既存のアルゴリズムは主に幾何学的情報に依存していますが、画像セグメンテーション アルゴリズムを使用して内視鏡ビデオから推測されるセマンティック情報も活用することを提案します。
この論文では、幾何学的情報と意味情報を統合してデータの関連付け、3D 再構成、および内視鏡シーンの追跡を容易にし、手術ナビゲーションなどの下流のタスクに利益をもたらす、新しい包括的な外科的知覚フレームワークである Semantic-SuPer を紹介します。
提案されたフレームワークは、組織の変形を伴う挑戦的な内視鏡データで実証され、ベースラインおよび他のいくつかの最先端のアプローチに対する利点を示しています。
私たちのコードとデータセットは、https://github.com/ucsdarclab/Python-SuPer で入手できます。

要約(オリジナル)

Accurate and robust tracking and reconstruction of the surgical scene is a critical enabling technology toward autonomous robotic surgery. Existing algorithms for 3D perception in surgery mainly rely on geometric information, while we propose to also leverage semantic information inferred from the endoscopic video using image segmentation algorithms. In this paper, we present a novel, comprehensive surgical perception framework, Semantic-SuPer, that integrates geometric and semantic information to facilitate data association, 3D reconstruction, and tracking of endoscopic scenes, benefiting downstream tasks like surgical navigation. The proposed framework is demonstrated on challenging endoscopic data with deforming tissue, showing its advantages over our baseline and several other state-of the-art approaches. Our code and dataset are available at https://github.com/ucsdarclab/Python-SuPer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google