Advancing Dense Endoscopic Reconstruction with Gaussian Splatting-driven Surface Normal-aware Tracking and Mapping

要約

同時ローカリゼーションとマッピング（SLAM）は、低侵襲手順での正確な外科的介入とロボットタスクに不可欠です。
3Dガウスの飛び散（3DG）の最近の進歩により、高品質の新規ビューの合成と高速レンダリングでスラムが改善されましたが、これらのシステムは、マルチビューの矛盾のために正確な深さと表面再建に苦しんでいます。
単にスラムと3DGを組み込むだけで、再構築されたフレーム間の不一致につながります。
この作業では、これらの課題に対処するために、2Dガウススプラッティング（2DG）を備えたリアルタイム内視鏡スラムシステムであるEndo-2DTAMを提示します。
ENDO-2DTAMには、幾何学的に正確な再構築のための追跡、マッピング、およびバンドル調整モジュールで構成される表面の通常のアウェアパイプラインが組み込まれています。
堅牢な追跡モジュールは、ポイントツーポイントとポイントツープレーンの距離メトリックを組み合わせていますが、マッピングモジュールは通常の一貫性と深さの歪みを利用して表面再構成の品質を高めます。
また、効率的で幾何学的に一貫性のあるキーフレームサンプリングのためのポーズ一貫性のある戦略を紹介します。
公共内視鏡データセットでの広範な実験は、ENDO-2DTAMが、計算効率の良い追跡、高品質の視覚的外観、リアルタイムレンダリングを維持しながら、外科シーンの深さ再構築のために1.87 \ PM 0.63 $ MMのRMSEを達成することを示しています。
私たちのコードは、github.com/lastbasket/endo-2dtamでリリースされます。

要約(オリジナル)

Simultaneous Localization and Mapping (SLAM) is essential for precise surgical interventions and robotic tasks in minimally invasive procedures. While recent advancements in 3D Gaussian Splatting (3DGS) have improved SLAM with high-quality novel view synthesis and fast rendering, these systems struggle with accurate depth and surface reconstruction due to multi-view inconsistencies. Simply incorporating SLAM and 3DGS leads to mismatches between the reconstructed frames. In this work, we present Endo-2DTAM, a real-time endoscopic SLAM system with 2D Gaussian Splatting (2DGS) to address these challenges. Endo-2DTAM incorporates a surface normal-aware pipeline, which consists of tracking, mapping, and bundle adjustment modules for geometrically accurate reconstruction. Our robust tracking module combines point-to-point and point-to-plane distance metrics, while the mapping module utilizes normal consistency and depth distortion to enhance surface reconstruction quality. We also introduce a pose-consistent strategy for efficient and geometrically coherent keyframe sampling. Extensive experiments on public endoscopic datasets demonstrate that Endo-2DTAM achieves an RMSE of $1.87\pm 0.63$ mm for depth reconstruction of surgical scenes while maintaining computationally efficient tracking, high-quality visual appearance, and real-time rendering. Our code will be released at github.com/lastbasket/Endo-2DTAM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google