Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery

要約

内視鏡ステレオビデオからのロボット手術における軟組織の再構築は、術中ナビゲーションや画像誘導ロボット手術自動化などの多くのアプリケーションにとって重要です。
このタスクに関するこれまでの作業は、主にSLAMベースのアプローチに依存しており、複雑な手術シーンの処理に苦労しています。
神経レンダリングの最近の進歩に触発されて、単一の視点の設定の下でのロボット手術における両眼のキャプチャからの変形可能な組織の再構築のための新しいフレームワークを提示します。
私たちのフレームワークは、動的な神経放射輝度フィールドを採用して、MLPで変形可能な手術シーンを表現し、学習ベースの方法で形状と変形を最適化します。
非剛体変形に加えて、単一の視点からのツールの閉塞と不十分な3Dの手がかりも、軟組織の再建における特定の課題です。
これらの困難を克服するために、ツールマスクガイドレイキャスティング、ステレオデプスキューイングレイマーチング、ステレオデプス監視最適化の一連の戦略を紹介します。
DaVinciロボット手術ビデオでの実験により、私たちの方法は、さまざまな複雑な非剛体変形を処理するための現在の最先端の再構成方法を大幅に上回っています。
私たちの知る限り、これは、手術シーンの3D再構成にニューラルレンダリングを活用する最初の作業であり、驚くべき可能性が実証されています。
コードはhttps://github.com/med-air/EndoNeRFで入手できます。

要約(オリジナル)

Reconstruction of the soft tissues in robotic surgery from endoscopic stereo videos is important for many applications such as intra-operative navigation and image-guided robotic surgery automation. Previous works on this task mainly rely on SLAM-based approaches, which struggle to handle complex surgical scenes. Inspired by recent progress in neural rendering, we present a novel framework for deformable tissue reconstruction from binocular captures in robotic surgery under the single-viewpoint setting. Our framework adopts dynamic neural radiance fields to represent deformable surgical scenes in MLPs and optimize shapes and deformations in a learning-based manner. In addition to non-rigid deformations, tool occlusion and poor 3D clues from a single viewpoint are also particular challenges in soft tissue reconstruction. To overcome these difficulties, we present a series of strategies of tool mask-guided ray casting, stereo depth-cueing ray marching and stereo depth-supervised optimization. With experiments on DaVinci robotic surgery videos, our method significantly outperforms the current state-of-the-art reconstruction method for handling various complex non-rigid deformations. To our best knowledge, this is the first work leveraging neural rendering for surgical scene 3D reconstruction with remarkable potential demonstrated. Code is available at: https://github.com/med-air/EndoNeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google