Stereo Hand-Object Reconstruction for Human-to-Robot Handover

要約

ハンドとオブジェクトの形状を共同で推定すると、人間からロボットの握手の把握タスクが容易になります。
ただし、目に見えないオブジェクトに一般化すると、オブジェクトの幾何学的構造に関する手作りの事前知識に依存すると、深さセンサーがメガネを飲むなどの透明なオブジェクトを検出できません。
この作業では、シングルビューの再構成を確率的に組み合わせてコヒーレントステレオ再構成を形成するハンドオブジェクト再構成のためのステレオベースの方法を提案します。
大規模な合成ハンドオブジェクトデータセットから3Dシェイププリエアを学習して、メソッドが一般化可能であることを確認し、RGB入力を使用して透明なオブジェクトをより適切にキャプチャします。
単一ビューとステレオ設定での既存のRGBベースのハンドオブジェクト再構築方法と比較して、この方法がオブジェクト面積距離を減らすことを示します。
投影ベースの外れ値除去ステップで再構築されたハンドオブジェクトの形状を処理し、出力を使用して、ワイドベースラインステレオRGBカメラを備えたヒューマンツーロボットハンドオーバーパイプラインをガイドします。
当社の手観オブジェクトの再構築により、ロボットは人間から多様な範囲の家庭用品を正常に受け取ることができます。

要約(オリジナル)

Jointly estimating hand and object shape facilitates the grasping task in human-to-robot handovers. However, relying on hand-crafted prior knowledge about the geometric structure of the object fails when generalising to unseen objects, and depth sensors fail to detect transparent objects such as drinking glasses. In this work, we propose a stereo-based method for hand-object reconstruction that combines single-view reconstructions probabilistically to form a coherent stereo reconstruction. We learn 3D shape priors from a large synthetic hand-object dataset to ensure that our method is generalisable, and use RGB inputs to better capture transparent objects. We show that our method reduces the object Chamfer distance compared to existing RGB based hand-object reconstruction methods on single view and stereo settings. We process the reconstructed hand-object shape with a projection-based outlier removal step and use the output to guide a human-to-robot handover pipeline with wide-baseline stereo RGB cameras. Our hand-object reconstruction enables a robot to successfully receive a diverse range of household objects from the human.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google