Image-based Pose Estimation and Shape Reconstruction for Robot Manipulators and Soft, Continuum Robots via Differentiable Rendering

要約

自律システムはセンサーに依存してモーションをキャプチャし、3D 世界でローカライズするため、測定データからの状態推定はロボット アプリケーションにとって重要です。
ロボットの姿勢やソフトロボットの形状を計測するセンサーの中でも、視覚センサーは情報量が多く、設定が簡単で、費用対効果が高いため好まれています。
コンピューター ビジョンの最近の進歩により、ディープ ラーニング ベースの方法では、ロボットの特徴点を識別するためのマーカーが不要になりました。
ただし、学習ベースの方法はデータを大量に消費するため、ソフト ロボットやプロトタイピング ロボットには適していません。このようなベンチマーク データセットの構築は通常実行不可能です。
この作業では、画像ベースのロボットの姿勢推定とカメラ画像からの形状再構築を実現します。
この方法では、正確なロボット メッシュは必要ありませんが、微分可能なレンダラーとプリミティブ シェイプを利用します。
そのため、CAD モデルが利用できないか粗雑なロボットに適用できます。
パラメータ推定パイプラインは完全に微分可能です。
ロボットの形状とポーズは、画像の損失を逆伝播してパラメーターを更新することにより、反復的に推定されます。
幾何学的形状プリミティブを使用する方法が、ソフトコンティニウムロボットの形状再構築とロボットマニピュレータの姿勢推定で高精度を達成できることを示します。

要約(オリジナル)

State estimation from measured data is crucial for robotic applications as autonomous systems rely on sensors to capture the motion and localize in the 3D world. Among sensors that are designed for measuring a robot’s pose, or for soft robots, their shape, vision sensors are favorable because they are information-rich, easy to set up, and cost-effective. With recent advancements in computer vision, deep learning-based methods no longer require markers for identifying feature points on the robot. However, learning-based methods are data-hungry and hence not suitable for soft and prototyping robots, as building such bench-marking datasets is usually infeasible. In this work, we achieve image-based robot pose estimation and shape reconstruction from camera images. Our method requires no precise robot meshes, but rather utilizes a differentiable renderer and primitive shapes. It hence can be applied to robots for which CAD models might not be available or are crude. Our parameter estimation pipeline is fully differentiable. The robot shape and pose are estimated iteratively by back-propagating the image loss to update the parameters. We demonstrate that our method of using geometrical shape primitives can achieve high accuracy in shape reconstruction for a soft continuum robot and pose estimation for a robot manipulator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google