A Review of 3D Reconstruction Techniques for Deformable Tissues in Robotic Surgery

要約

ロボットによる低侵襲手術における重要かつ複雑なタスクとして、ステレオまたは単眼の内視鏡ビデオを使用して手術シーンを再構成することは、臨床応用にとって計り知れない可能性を秘めています。
NeRF ベースの技術は、暗黙的にシーンを再構築できる機能として最近注目を集めています。
一方、ガウス スプラッティング ベースの 3D-GS は、3D ガウスを使用してシーンを明示的に表し、NeRF の複雑なボリューム レンダリングの代わりに 2D 平面に投影します。
ただし、これらの方法は、推論の遅さ、動的シーン、手術器具の遮蔽など、手術シーンの再構成に関する課題に直面しています。
この研究では、最先端 (SOTA) アプローチを調査およびレビューし、その革新性と実装原則について説明します。
さらに、モデルを複製し、2 つのデータセットでテストと評価を実施します。
テスト結果は、これらの技術の進歩により、リアルタイムで高品質の再構成が実現可能になることを示しています。

要約(オリジナル)

As a crucial and intricate task in robotic minimally invasive surgery, reconstructing surgical scenes using stereo or monocular endoscopic video holds immense potential for clinical applications. NeRF-based techniques have recently garnered attention for the ability to reconstruct scenes implicitly. On the other hand, Gaussian splatting-based 3D-GS represents scenes explicitly using 3D Gaussians and projects them onto a 2D plane as a replacement for the complex volume rendering in NeRF. However, these methods face challenges regarding surgical scene reconstruction, such as slow inference, dynamic scenes, and surgical tool occlusion. This work explores and reviews state-of-the-art (SOTA) approaches, discussing their innovations and implementation principles. Furthermore, we replicate the models and conduct testing and evaluation on two datasets. The test results demonstrate that with advancements in these techniques, achieving real-time, high-quality reconstructions becomes feasible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google