EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting

要約

外科用 3D 再構成はロボット手術における研究の重要な分野であり、最近の研究では動的放射フィールドの変形を採用して、単一視点ビデオからの変形可能な組織の 3D 再構成に成功しています。
ただし、これらの方法は、最適化に時間がかかるか、品質が劣るという問題が発生することが多く、下流のタスクでの採用が制限されます。
最近の 3D 表現のトレンドである 3D ガウス スプラッティングに触発され、変形可能な内視鏡組織の再構成にガウス スプラッティングを適用した EndoGS を紹介します。
具体的には、私たちのアプローチには、動的シーンを処理するための変形フィールド、単一視点からのツール オクルージョンを使用して 3D ターゲットを最適化するための時空間重みマスクを使用した深度ガイド付き監視、およびより優れたジオメトリをキャプチャするための表面に合わせた正則化項が組み込まれています。
その結果、EndoGS は、単一視点のビデオ、推定された深度マップ、およびラベル付けされたツール マスクから、高品質の変形可能な内視鏡組織を再構築してレンダリングします。
DaVinci ロボット手術ビデオの実験では、EndoGS が優れたレンダリング品質を達成していることが実証されています。
コードは https://github.com/HKU-MedAI/EndoGS で入手できます。

要約(オリジナル)

Surgical 3D reconstruction is a critical area of research in robotic surgery, with recent works adopting variants of dynamic radiance fields to achieve success in 3D reconstruction of deformable tissues from single-viewpoint videos. However, these methods often suffer from time-consuming optimization or inferior quality, limiting their adoption in downstream tasks. Inspired by 3D Gaussian Splatting, a recent trending 3D representation, we present EndoGS, applying Gaussian Splatting for deformable endoscopic tissue reconstruction. Specifically, our approach incorporates deformation fields to handle dynamic scenes, depth-guided supervision with spatial-temporal weight masks to optimize 3D targets with tool occlusion from a single viewpoint, and surface-aligned regularization terms to capture the much better geometry. As a result, EndoGS reconstructs and renders high-quality deformable endoscopic tissues from a single-viewpoint video, estimated depth maps, and labeled tool masks. Experiments on DaVinci robotic surgery videos demonstrate that EndoGS achieves superior rendering quality. Code is available at https://github.com/HKU-MedAI/EndoGS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google