MoSS: Monocular Shape Sensing for Continuum Robots

要約

連続ロボットは、その独特の形状、コンプライアンス、小型化能力により、医療および産業用途における対話型タスクの有望な候補です。
このようなタスクには正確かつリアルタイムの形状センシングが不可欠ですが、依然として課題が残っています。
埋め込み形状センシングはハードウェアの複雑さとコストが高くなりますが、ビジョンベースの方法ではステレオ設定が必要で、リアルタイムのパフォーマンスを達成するのに苦労します。
この論文では、連続ロボットの形状センシングに対する初の目から手への単眼アプローチを提案します。
私たちの手法である MoSSNet は、ディープ エンコーダ/デコーダ ネットワークを利用することで、ステレオ マッチングの計算コストを削減し、センシング ハードウェアの要件を軽減します。
特に、MoSSNet はエンコーダと 3 つの並列デコーダで構成され、単一の RGB 画像から空間、長さ、輪郭情報を明らかにし、カーブ フィッティングを通じて 3D 形状を取得します。
2 セグメントの腱駆動の連続体ロボットがデータ収集とテストに使用され、実世界のデータに対する正確 (平均形状誤差 0.91 mm、またはロボットの長さの 0.36%) かつリアルタイム (70 fps) の形状センシングを実証します。
さらに、この方法はエンドツーエンドで最適化されており、基準マーカー、手動セグメンテーション、またはカメラのキャリブレーションを必要としません。
コードとデータセットは https://github.com/ContinuumRoboticsLab/MoSSNet で利用可能になります。

要約(オリジナル)

Continuum robots are promising candidates for interactive tasks in medical and industrial applications due to their unique shape, compliance, and miniaturization capability. Accurate and real-time shape sensing is essential for such tasks yet remains a challenge. Embedded shape sensing has high hardware complexity and cost, while vision-based methods require stereo setup and struggle to achieve real-time performance. This paper proposes the first eye-to-hand monocular approach to continuum robot shape sensing. Utilizing a deep encoder-decoder network, our method, MoSSNet, eliminates the computation cost of stereo matching and reduces requirements on sensing hardware. In particular, MoSSNet comprises an encoder and three parallel decoders to uncover spatial, length, and contour information from a single RGB image, and then obtains the 3D shape through curve fitting. A two-segment tendon-driven continuum robot is used for data collection and testing, demonstrating accurate (mean shape error of 0.91 mm, or 0.36% of robot length) and real-time (70 fps) shape sensing on real-world data. Additionally, the method is optimized end-to-end and does not require fiducial markers, manual segmentation, or camera calibration. Code and datasets will be made available at https://github.com/ContinuumRoboticsLab/MoSSNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google