Neural LerPlane Representations for Fast 4D Reconstruction of Deformable Tissues

要約

ロボット手術における内視鏡ステレオビデオから変形可能な組織を再構成することは、さまざまな臨床応用にとって重要です。
ただし、暗黙的な表現のみに依存する既存の方法は計算コストが高く、数十時間を必要とするため、さらなる実用化が制限されます。
この課題に対処するために、単一視点設定で手術シーンを高速かつ正確に再構成する新しい方法である LerPlane を紹介します。
LerPlane は、外科手術を 4D ボリュームとして扱い、それらを静的フィールドと動的フィールドの明示的な 2D 平面に因数分解することで、メモリ フットプリントをコンパクトにし、最適化を大幅に加速します。
効率的な因数分解は、各平面の線形補間によって得られた特徴を融合することによって実現され、軽量のニューラル ネットワークを使用して手術シーンをモデル化することが可能になります。
さらに、LerPlane は静的フィールドを共有するため、動的組織モデリングの作業負荷が大幅に軽減されます。
また、最適化を強化し、ツールのオクルージョンや大きな動きのある領域でのパフォーマンスを向上させるための新しいサンプル スキームも提案します。
DaVinci ロボット手術ビデオの実験では、LerPlane がさまざまな非剛体変形にわたって高品質を維持しながら最適化を 100$\times$ 以上加速することを実証し、将来の術中手術アプリケーションに大きな期待を示しています。

要約(オリジナル)

Reconstructing deformable tissues from endoscopic stereo videos in robotic surgery is crucial for various clinical applications. However, existing methods relying only on implicit representations are computationally expensive and require dozens of hours, which limits further practical applications. To address this challenge, we introduce LerPlane, a novel method for fast and accurate reconstruction of surgical scenes under a single-viewpoint setting. LerPlane treats surgical procedures as 4D volumes and factorizes them into explicit 2D planes of static and dynamic fields, leading to a compact memory footprint and significantly accelerated optimization. The efficient factorization is accomplished by fusing features obtained through linear interpolation of each plane and enables using lightweight neural networks to model surgical scenes. Besides, LerPlane shares static fields, significantly reducing the workload of dynamic tissue modeling. We also propose a novel sample scheme to boost optimization and improve performance in regions with tool occlusion and large motions. Experiments on DaVinci robotic surgery videos demonstrate that LerPlane accelerates optimization by over 100$\times$ while maintaining high quality across various non-rigid deformations, showing significant promise for future intraoperative surgery applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google