SeeBelow: Sub-dermal 3D Reconstruction of Tumors with Surgical Robotic Palpation and Tactile Exploration

要約

ロボット支援低侵襲手術 (RMIS) における手術シーンの理解は視覚的な手がかりに大きく依存しており、触覚が欠けています。
触覚フィードバックを備えた力変調された外科的触診は、位置特定、形状/深さの推定、および表面下の組織層の異常な硬い封入物の器用な探索に必要です。
これまでの研究では、高密度の 2D 剛性マッピングのために 300 回を超える触診により、表面レベルの組織異常または単層組織腫瘍包埋を調査していました。
私たちのアプローチは、視覚的に誘導された新しい触覚ナビゲーション ポリシーを使用した、多層組織 (皮膚 – 脂肪 – 筋肉) における皮下の腫瘍表面プロファイルの 3D 再構成に焦点を当てています。
ファントムの触覚探査には、3 軸力感知機能を備えたロボット触診プローブが活用されました。
このポリシーは、深度カメラから初期化された手術領域の表面メッシュから、ベイジアン最適化からサンプリングされた触診を通じて外科医の関心領域を探索します。
各触診には、下にある腫瘍と組織の境界に到達するまで、接触安全なインピーダンス コントローラーを使用して皮下腫瘍の形状を追跡する輪郭追跡が含まれます。
触診軌跡に続くこれらの輪郭の投影により、100 回未満の触診で皮下腫瘍表面プロファイルの 3D 再構成が可能になります。
私たちのアプローチは、等方性弾性を備えた組織層の硬質腫瘍包埋の高忠実度 3D 表面再構築を生成しますが、軟腫瘍の形状はまだ調査されていません。

要約(オリジナル)

Surgical scene understanding in Robot-assisted Minimally Invasive Surgery (RMIS) is highly reliant on visual cues and lacks tactile perception. Force-modulated surgical palpation with tactile feedback is necessary for localization, geometry/depth estimation, and dexterous exploration of abnormal stiff inclusions in subsurface tissue layers. Prior works explored surface-level tissue abnormalities or single layered tissue-tumor embeddings with more than 300 palpations for dense 2D stiffness mapping. Our approach focuses on 3D reconstructions of sub-dermal tumor surface profiles in multi-layered tissue (skin-fat-muscle) using a visually-guided novel tactile navigation policy. A robotic palpation probe with tri-axial force sensing was leveraged for tactile exploration of the phantom. From a surface mesh of the surgical region initialized from a depth camera, the policy explores a surgeon’s region of interest through palpation, sampled from bayesian optimization. Each palpation includes contour following using a contact-safe impedance controller to trace the sub-dermal tumor geometry, until the underlying tumor-tissue boundary is reached. Projections of these contour following palpation trajectories allows 3D reconstruction of the subdermal tumor surface profile in less than 100 palpations. Our approach generates high-fidelity 3D surface reconstructions of rigid tumor embeddings in tissue layers with isotropic elasticities, although soft tumor geometries are yet to be explored.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google