Registering Neural 4D Gaussians for Endoscopic Surgery

要約

最近のニューラル レンダリングの進歩により、ニューラル ネットワークを使用して高品質の 4D シーンを再構築できるようになりました。
4D 神経再構成は普及していますが、そのような表現の登録は依然として困難な作業であり、特に手術計画やシミュレーションにおける動的なシーンの登録では困難です。
この論文では、動的手術神経シーン登録のための新しい戦略を提案します。
まず、4D ガウス スプラッティングを利用して手術シーンを表現し、静的シーンと動的シーンの両方を効果的にキャプチャします。
次に、手術シーン間で特徴を正確に位置合わせし、正確で現実的な手術シミュレーションを可能にする、空間認識特徴集約手法である空間ウェイト クラッタリング (SWC) が提案されています。
最後に、2 つの動的シーンを登録するための変形可能なシーン登録の新しい戦略を紹介します。
対応マッチングに空間情報と時間情報の両方を組み込むことにより、私たちのアプローチは、暗黙的なニューラル表現の既存の登録方法と比較して優れたパフォーマンスを実現します。
提案された方法は、手術計画と訓練を改善し、最終的には患者の転帰を改善する可能性があります。

要約(オリジナル)

The recent advance in neural rendering has enabled the ability to reconstruct high-quality 4D scenes using neural networks. Although 4D neural reconstruction is popular, registration for such representations remains a challenging task, especially for dynamic scene registration in surgical planning and simulation. In this paper, we propose a novel strategy for dynamic surgical neural scene registration. We first utilize 4D Gaussian Splatting to represent the surgical scene and capture both static and dynamic scenes effectively. Then, a spatial aware feature aggregation method, Spatially Weight Cluttering (SWC) is proposed to accurately align the feature between surgical scenes, enabling precise and realistic surgical simulations. Lastly, we present a novel strategy of deformable scene registration to register two dynamic scenes. By incorporating both spatial and temporal information for correspondence matching, our approach achieves superior performance compared to existing registration methods for implicit neural representation. The proposed method has the potential to improve surgical planning and training, ultimately leading to better patient outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google