Real-to-Sim Deformable Object Manipulation: Optimizing Physics Models with Residual Mappings for Robotic Surgery

要約

正確な変形可能物体操作 (DOM) は、軟組織の移動、伸長、切開を行うロボット手術で自律性を実現するために不可欠です。
多くの DOM メソッドはシミュレーションによって強化されており、支配的な物理的制約を遵守し、モデルの予測と制御を可能にすることで現実的な変形を保証します。
ただし、ロボット手術における膜や軟組織などの実際の軟物体には、カメラからの単純な初期化によるシミュレーションでは完全にキャプチャできない可能性がある、複雑で異方性の物理パラメータがあります。
実際の手術タスクでシミュレーション技術を使用するには、「現実とシミュレーション」のギャップを適切に補正する必要があります。
この研究では、シミュレーション最適化のためのオンラインの適応パラメータ調整アプローチを提案します。このアプローチは、(1) 物理シミュレーションと残差マッピングの推定を通じて得られる 3D 認識との間の現実とシミュレーションのギャップを橋渡しし、(2) その剛性パラメータを最適化します。
オンライン。
私たちの方法は、シミュレーションと観測の間の小さな残留ギャップを保証し、シミュレーションの予測能力を向上させます。
提案されたメカニズムの有効性は、ほとんどの組織シナリオを代表する、薄殻組織と体積組織の両方の操作で評価されます。
この研究は、シミュレーションベースの変形可能な組織操作の進歩に貢献し、外科手術の自律性を向上させる可能性を秘めています。

要約(オリジナル)

Accurate deformable object manipulation (DOM) is essential for achieving autonomy in robotic surgery, where soft tissues are being displaced, stretched, and dissected. Many DOM methods can be powered by simulation, which ensures realistic deformation by adhering to the governing physical constraints and allowing for model prediction and control. However, real soft objects in robotic surgery, such as membranes and soft tissues, have complex, anisotropic physical parameters that a simulation with simple initialization from cameras may not fully capture. To use the simulation techniques in real surgical tasks, the ‘real-to-sim’ gap needs to be properly compensated. In this work, we propose an online, adaptive parameter tuning approach for simulation optimization that (1) bridges the real-to-sim gap between a physics simulation and observations obtained 3D perceptions through estimating a residual mapping and (2) optimizes its stiffness parameters online. Our method ensures a small residual gap between the simulation and observation and improves the simulation’s predictive capabilities. The effectiveness of the proposed mechanism is evaluated in the manipulation of both a thin-shell and volumetric tissue, representative of most tissue scenarios. This work contributes to the advancement of simulation-based deformable tissue manipulation and holds potential for improving surgical autonomy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google