Image-to-Force Estimation for Soft Tissue Interaction in Robotic-Assisted Surgery Using Structured Light

要約

低侵襲手術 (MIS) ロボットの場合、軟組織との相互作用の安全性を確保するには、正確な触覚相互作用力フィードバックが不可欠です。
しかし、既存の MIS ロボット システムのほとんどは、スペースの制限により、ハードウェア センサーによる相互作用力の直接測定を容易にすることができません。
このレターでは、訓練された画像から力へのニューラルネットワークによる触覚情報処理と組み合わせた、軟組織上の設計パターンによるワンショット構造化光投影を利用する、効果的な視覚ベースのスキームを紹介します。
内視鏡ステレオカメラからキャプチャされた画像は、軟組織の変形に関する高解像度の 3D 点群を再構築するために分析されます。
これに基づいて、軟組織の複雑な機械的特性の表現に優れた、修正された PointNet ベースの力推定方法が提案されます。
数値的な力の相互作用実験は、剛性の異なる 3 つのシリコン材料に対して行われます。
結果は、提案されたスキームの有効性を検証します。

要約(オリジナル)

For Minimally Invasive Surgical (MIS) robots, accurate haptic interaction force feedback is essential for ensuring the safety of interacting with soft tissue. However, most existing MIS robotic systems cannot facilitate direct measurement of the interaction force with hardware sensors due to space limitations. This letter introduces an effective vision-based scheme that utilizes a One-Shot structured light projection with a designed pattern on soft tissue coupled with haptic information processing through a trained image-to-force neural network. The images captured from the endoscopic stereo camera are analyzed to reconstruct high-resolution 3D point clouds for soft tissue deformation. Based on this, a modified PointNet-based force estimation method is proposed, which excels in representing the complex mechanical properties of soft tissue. Numerical force interaction experiments are conducted on three silicon materials with different stiffness. The results validate the effectiveness of the proposed scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google