ViSE: Vision-Based 3D Online Shape Estimation of Continuously Deformable Robots

要約

ソフトロボットや連続ロボットを正確に制御するには、その形状についての知識が必要です。
これらのロボットの形状は、古典的な剛体ロボットとは対照的に、無限の自由度を持っています。
形状を部分的に再構築するために、固有受容技術では内蔵センサーが使用されるため、結果が不正確になり、製造の複雑さが増大します。
これまでの外受容手法は、すべての追跡対象コンポーネントに反射マーカーを配置し、複数のモーション追跡カメラを使用してその位置を三角測量することに依存しています。
追跡システムは高価であり、マーカーの閉塞や損傷により環境と相互作用する変形可能なロボットには実行不可能です。
ここでは、畳み込みニューラル ネットワークを使用した 3D 形状推定の回帰アプローチを紹介します。
提案されたアプローチはデータ駆動型教師あり学習を利用しており、推論中にリアルタイムでマーカーなしの形状推定が可能です。
ロボット システムの 2 つの画像が 2 つの異なる視点から 25 Hz で同時に撮影され、ネットワークに供給され、各ペアに対してパラメータ化された形状が返されます。
提案されたアプローチは、マーカーのない最先端の方法よりも推定精度が最大 4.4% 優れており、同時により堅牢であり、形状に関する事前知識を必要としません。
このアプローチは、深度のない 2 台のカラー カメラのみが必要であり、外部パラメータの明示的なキャリブレーションを必要としないため、簡単に実装できます。
2 種類のソフト ロボット アームとソフト ロボット フィッシュの評価により、リアルタイムでの高度に変形可能なシステムに対するこの手法の精度と多用途性が実証されました。
さまざまなシーンの変更 (カメラの位置と明るさ) に対するこのアプローチの堅牢なパフォーマンスは、より広範囲の実験セットアップへの汎用性を示唆しており、ロボットによる把握や操作などの下流のタスクに利益をもたらします。

要約(オリジナル)

The precise control of soft and continuum robots requires knowledge of their shape. The shape of these robots has, in contrast to classical rigid robots, infinite degrees of freedom. To partially reconstruct the shape, proprioceptive techniques use built-in sensors resulting in inaccurate results and increased fabrication complexity. Exteroceptive methods so far rely on placing reflective markers on all tracked components and triangulating their position using multiple motion-tracking cameras. Tracking systems are expensive and infeasible for deformable robots interacting with the environment due to marker occlusion and damage. Here, we present a regression approach for 3D shape estimation using a convolutional neural network. The proposed approach takes advantage of data-driven supervised learning and is capable of real-time marker-less shape estimation during inference. Two images of a robotic system are taken simultaneously at 25 Hz from two different perspectives, and are fed to the network, which returns for each pair the parameterized shape. The proposed approach outperforms marker-less state-of-the-art methods by a maximum of 4.4% in estimation accuracy while at the same time being more robust and requiring no prior knowledge of the shape. The approach can be easily implemented due to only requiring two color cameras without depth and not needing an explicit calibration of the extrinsic parameters. Evaluations on two types of soft robotic arms and a soft robotic fish demonstrate our method’s accuracy and versatility on highly deformable systems in real-time. The robust performance of the approach against different scene modifications (camera alignment and brightness) suggests its generalizability to a wider range of experimental setups, which will benefit downstream tasks such as robotic grasping and manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google