Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting

要約

ロボット支援による低侵襲手術の領域では、動的なシーンの再構成により下流のタスクが大幅に強化され、手術結果が向上します。
Neural Radiance Fields (NeRF) ベースの手法は、シーンを再構築する優れた能力により最近注目を集めています。
それにもかかわらず、これらの方法は、遅い推論、長時間のトレーニング、および大量の計算要求によって妨げられます。
さらに、ステレオ深度推定に依存する人もいますが、これはステレオ カメラに関連する高コストと物流上の問題により、多くの場合実行不可能です。
さらに、変形可能なシーンの単眼再構成の品質は現時点では不十分です。
これらの障害を克服するために、我々は、4D ガウス スプラッティング (GS) を利用し、グラウンド トゥルース深度データを必要としない、革新的なリアルタイム内視鏡動的再構成アプローチである Endo-4DGS を紹介します。
この方法は、時間コンポーネントを組み込むことで 3D GS を拡張し、軽量 MLP を活用して時間ガウス変形をキャプチャします。
これにより、条件が変化する動的な手術シーンの再構築が効果的に容易になります。
また、Depth-Anything を統合して単眼ビューから疑似深度マップを生成し、深度ガイドに基づく再構成プロセスを強化します。
私たちのアプローチは 2 つの手術データセットで検証されており、リアルタイムで効果的にレンダリングし、効率的に計算し、驚くべき精度で再構築できます。
これらの結果は、Endo-4DGS が手術支援を改善する大きな可能性を強調しています。

要約(オリジナル)

In the realm of robot-assisted minimally invasive surgery, dynamic scene reconstruction can significantly enhance downstream tasks and improve surgical outcomes. Neural Radiance Fields (NeRF)-based methods have recently risen to prominence for their exceptional ability to reconstruct scenes. Nonetheless, these methods are hampered by slow inference, prolonged training, and substantial computational demands. Additionally, some rely on stereo depth estimation, which is often infeasible due to the high costs and logistical challenges associated with stereo cameras. Moreover, the monocular reconstruction quality for deformable scenes is currently inadequate. To overcome these obstacles, we present Endo-4DGS, an innovative, real-time endoscopic dynamic reconstruction approach that utilizes 4D Gaussian Splatting (GS) and requires no ground truth depth data. This method extends 3D GS by incorporating a temporal component and leverages a lightweight MLP to capture temporal Gaussian deformations. This effectively facilitates the reconstruction of dynamic surgical scenes with variable conditions. We also integrate Depth-Anything to generate pseudo-depth maps from monocular views, enhancing the depth-guided reconstruction process. Our approach has been validated on two surgical datasets, where it can effectively render in real-time, compute efficiently, and reconstruct with remarkable accuracy. These results underline the vast potential of Endo-4DGS to improve surgical assistance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google