Efficient Visuo-Haptic Object Shape Completion for Robot Manipulation

要約

ロボットの操作には、完全で正確なオブジェクトの形状が必要です。
ここでは、閉ループ パイプラインで視覚と触覚の再構成を組み合わせた方法を紹介します。
初期の観点から、オブジェクトの形状は暗黙的なサーフェス ディープ ニューラル ネットワークを使用して再構築されます。
不確実性が最も高い場所が触覚探査のために選択され、オブジェクトがタッチされ、タッチからの新しい情報とカメラからの新しい点群が追加され、オブジェクトの位置が再推定され、サイクルが繰り返されます。
Rustler らを拡張します。
(2022) 新しい理論的に根拠のある方法を使用して、最も不確実性の高い点を決定し、点群に接触点を追加するだけでなく、ロボットの動きによって確立された空きスペースを組み込むことにより、すべての触覚探査の歩留まりを高めます
オブジェクト。
さらに、閉じた 2 本指グリッパーのジョーを直接探索に使用するという点で、このソリューションはコンパクトです。
オブジェクトの位置は、ロボットのアクションごとに再推定され、テーブル上に複数のオブジェクトを同時に存在させることができます。
3 つの異なるメトリックを使用して、すべてのタッチで着実な改善を達成し、実際のロボットでの実験をつかむ際のより良い形状再構成の有用性を示します。
平均して、つかみ成功率は 1 回の探索的タッチで 63.3% から 70.4% に増加し、5 回のタッチで 82.7% に増加します。
収集されたデータとコードは公開されています (https://osf.io/j6rkd/、https://github.com/ctu-vras/vishac)

要約(オリジナル)

For robot manipulation, a complete and accurate object shape is desirable. Here, we present a method that combines visual and haptic reconstruction in a closed-loop pipeline. From an initial viewpoint, the object shape is reconstructed using an implicit surface deep neural network. The location with highest uncertainty is selected for haptic exploration, the object is touched, the new information from touch and a new point cloud from the camera are added, object position is re-estimated and the cycle is repeated. We extend Rustler et al. (2022) by using a new theoretically grounded method to determine the points with highest uncertainty, and we increase the yield of every haptic exploration by adding not only the contact points to the point cloud but also incorporating the empty space established through the robot movement to the object. Additionally, the solution is compact in that the jaws of a closed two-finger gripper are directly used for exploration. The object position is re-estimated after every robot action and multiple objects can be present simultaneously on the table. We achieve a steady improvement with every touch using three different metrics and demonstrate the utility of the better shape reconstruction in grasping experiments on the real robot. On average, grasp success rate increases from 63.3% to 70.4% after a single exploratory touch and to 82.7% after five touches. The collected data and code are publicly available (https://osf.io/j6rkd/, https://github.com/ctu-vras/vishac)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google