Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians

要約

手術シーンのシミュレーションは、外科教育やシミュレーターベースのロボット学習において重要な役割を果たします。
手術シーンでこれらの環境を作成する従来のアプローチには、デザイナーが軟体シミュレーション用のテクスチャとジオメトリを備えた組織モデルを手作りするという、労働集約的なプロセスが含まれます。
この手動アプローチは時間がかかるだけでなく、拡張性や現実性にも限界があります。
対照的に、データ駆動型シミュレーションは、魅力的な代替手段を提供します。
これには、現実世界の手術ビデオ データから 3D 手術シーンを自動的に再構築し、続いて軟体物理学を適用する可能性があります。
ただし、この領域は比較的知られていません。
私たちの研究では、ステレオ内視鏡ビデオから学習される手術シーンの学習可能な表現として 3D ガウスを導入します。
過剰適合を防止し、これらのシーンの幾何学的正確性を確保するために、ガウス学習プロセスに深度監視と異方性正則化を組み込みます。
さらに、物理特性と統合されたマテリアル ポイント法を 3D ガウスに適用して、リアルなシーン変形を実現します。
私たちの方法は、収集した社内および公開の手術ビデオデータセットに基づいて評価されました。
結果は、内視鏡ビデオから手術シーンを効率的に再構成してシミュレーションできることを示しており、手術シーンの再構成にかかる時間はわずか数分であり、リアルタイムに近い速度で視覚的および物理的に妥当な変形を生成することができます。
この結果は、外科教育やロボット学習に利用できるシミュレーションの効率と多様性を向上させる、私たちの提案した方法の大きな可能性を示しています。

要約(オリジナル)

Surgical scene simulation plays a crucial role in surgical education and simulator-based robot learning. Traditional approaches for creating these environments with surgical scene involve a labor-intensive process where designers hand-craft tissues models with textures and geometries for soft body simulations. This manual approach is not only time-consuming but also limited in the scalability and realism. In contrast, data-driven simulation offers a compelling alternative. It has the potential to automatically reconstruct 3D surgical scenes from real-world surgical video data, followed by the application of soft body physics. This area, however, is relatively uncharted. In our research, we introduce 3D Gaussian as a learnable representation for surgical scene, which is learned from stereo endoscopic video. To prevent over-fitting and ensure the geometrical correctness of these scenes, we incorporate depth supervision and anisotropy regularization into the Gaussian learning process. Furthermore, we apply the Material Point Method, which is integrated with physical properties, to the 3D Gaussians to achieve realistic scene deformations. Our method was evaluated on our collected in-house and public surgical videos datasets. Results show that it can reconstruct and simulate surgical scenes from endoscopic videos efficiently-taking only a few minutes to reconstruct the surgical scene-and produce both visually and physically plausible deformations at a speed approaching real-time. The results demonstrate great potential of our proposed method to enhance the efficiency and variety of simulations available for surgical education and robot learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google