Monocular pose estimation of articulated surgical instruments in open surgery

要約

この研究は、開腹手術における手術器具の単眼 6D 姿勢推定に対する新しいアプローチを提示し、オブジェクトの関節、対称性、閉塞、注釈付きの実世界データの欠如などの課題に対処します。
この方法では、合成データ生成とドメイン適応技術を活用して、これらの障害を克服します。
提案されたアプローチは、次の 3 つの主要なコンポーネントで構成されます。(1) 関節リギングと物理ベースのレンダリングを備えた手術ツールの 3D モデリングを使用した合成データの生成。
（２）物体検出と姿勢推定とハイブリッド幾何学的融合戦略を組み合わせた、調整された姿勢推定フレームワーク。
(3) 合成データと実際の注釈なしデータの両方を利用するトレーニング戦略。自動生成された疑似ラベルを使用して実際のビデオ データにドメイン適応を適用します。
開腹手術のビデオに対して行われた評価は、提案された方法の優れたパフォーマンスと現実世界への適用可能性を実証し、医療用拡張現実やロボット システムへの統合の可能性を強調しています。
このアプローチにより、実際の手術データに手作業で大規模な注釈を付ける必要がなくなります。

要約(オリジナル)

This work presents a novel approach to monocular 6D pose estimation of surgical instruments in open surgery, addressing challenges such as object articulations, symmetries, occlusions, and lack of annotated real-world data. The method leverages synthetic data generation and domain adaptation techniques to overcome these obstacles. The proposed approach consists of three main components: (1) synthetic data generation using 3D modeling of surgical tools with articulation rigging and physically-based rendering; (2) a tailored pose estimation framework combining object detection with pose estimation and a hybrid geometric fusion strategy; and (3) a training strategy that utilizes both synthetic and real unannotated data, employing domain adaptation on real video data using automatically generated pseudo-labels. Evaluations conducted on videos of open surgery demonstrate the good performance and real-world applicability of the proposed method, highlighting its potential for integration into medical augmented reality and robotic systems. The approach eliminates the need for extensive manual annotation of real surgical data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google