Efficient Visuo-Haptic Object Shape Completion for Robot Manipulation

要約

ロボットの操作には、完全で正確なオブジェクトの形状が望ましいです。
ここでは、閉ループ パイプラインで視覚と触覚の再構成を組み合わせた方法を紹介します。
初期視点から、オブジェクトの形状は暗黙的な表面ディープ ニューラル ネットワークを使用して再構築されます。
不確実性が最も高い位置が触覚探索用に選択され、物体に触れ、接触からの新しい情報とカメラからの新しい点群が追加され、物体の位置が再推定され、このサイクルが繰り返されます。
Rustler et al. を拡張します。
(2022) 理論に基づいた新しい方法を使用して不確実性が最も高い点を決定し、点群に接触点を追加するだけでなく、ロボットの動きによって確立された空の空間も組み込むことで、あらゆる触覚探索の歩留まりを向上させます。
オブジェクト。
さらに、閉じた 2 本指グリッパーのジョーが探査に直接使用されるため、このソリューションはコンパクトです。
オブジェクトの位置はロボットの動作ごとに再推定され、テーブル上に複数のオブジェクトが同時に存在する可能性があります。
3 つの異なる指標を使用してタッチするたびに着実な改善を達成し、実際のロボットでの把握実験におけるより優れた形状再構成の有用性を実証します。
平均すると、把握の成功率は 1 回の探索タッチでは 63.3% から 70.4% に増加し、5 回のタッチでは 82.7% に増加します。
収集されたデータとコードは公開されています (https://osf.io/j6rkd/、https://github.com/ctu-vras/vishac)

要約(オリジナル)

For robot manipulation, a complete and accurate object shape is desirable. Here, we present a method that combines visual and haptic reconstruction in a closed-loop pipeline. From an initial viewpoint, the object shape is reconstructed using an implicit surface deep neural network. The location with highest uncertainty is selected for haptic exploration, the object is touched, the new information from touch and a new point cloud from the camera are added, object position is re-estimated and the cycle is repeated. We extend Rustler et al. (2022) by using a new theoretically grounded method to determine the points with highest uncertainty, and we increase the yield of every haptic exploration by adding not only the contact points to the point cloud but also incorporating the empty space established through the robot movement to the object. Additionally, the solution is compact in that the jaws of a closed two-finger gripper are directly used for exploration. The object position is re-estimated after every robot action and multiple objects can be present simultaneously on the table. We achieve a steady improvement with every touch using three different metrics and demonstrate the utility of the better shape reconstruction in grasping experiments on the real robot. On average, grasp success rate increases from 63.3% to 70.4% after a single exploratory touch and to 82.7% after five touches. The collected data and code are publicly available (https://osf.io/j6rkd/, https://github.com/ctu-vras/vishac)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google