EndoLRMGS: Complete Endoscopic Scene Reconstruction combining Large Reconstruction Modelling and Gaussian Splatting

要約

手術シーンの完全な再構築は、ロボット支援手術（RAS）にとって非常に重要です。
深さの深さの推定は有望ですが、既存の作業は深さの不連続性と闘っており、オブジェクトの境界で騒々しい予測をもたらし、閉塞された表面を省略した完全な再構成を達成しません。
これらの問題に対処するために、完全な外科シーンの再構築のために、大きな再構成モデ​​リング（LRM）とガウススプラッティング（GS）を組み合わせたEndolRMGを提案します。
GSは変形可能な組織を再構築し、LRMは外科用ツールの3Dモデルを生成し、その後、正確性を強化するために直交視点共同投影最適化（OPJPO）を導入することにより、位置とスケールが最適化されます。
3つのパブリックデータセットからの4つの手術ビデオの実験では、2D投影のツール3Dモデルの交差点（IOU）の交差点（IOU）を40％> 40％改善します。
さらに、EndolRMGSは、ツール投影のPSNRを3.82％から11.07％に改善します。
組織のレンダリング品質も向上し、PSNRは0.46％から49.87％に増加し、SSIMはすべてのテストビデオで1.53％から29.21％に増加します。

要約(オリジナル)

Complete reconstruction of surgical scenes is crucial for robot-assisted surgery (RAS). Deep depth estimation is promising but existing works struggle with depth discontinuities, resulting in noisy predictions at object boundaries and do not achieve complete reconstruction omitting occluded surfaces. To address these issues we propose EndoLRMGS, that combines Large Reconstruction Modelling (LRM) and Gaussian Splatting (GS), for complete surgical scene reconstruction. GS reconstructs deformable tissues and LRM generates 3D models for surgical tools while position and scale are subsequently optimized by introducing orthogonal perspective joint projection optimization (OPjPO) to enhance accuracy. In experiments on four surgical videos from three public datasets, our method improves the Intersection-over-union (IoU) of tool 3D models in 2D projections by>40%. Additionally, EndoLRMGS improves the PSNR of the tools projection from 3.82% to 11.07%. Tissue rendering quality also improves, with PSNR increasing from 0.46% to 49.87%, and SSIM from 1.53% to 29.21% across all test videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google