JENGA: Object selection and pose estimation for robotic grasping from a stack

要約

ビジョンベースのロボットオブジェクトの把握は、通常、ビンピッキングシナリオの分離オブジェクトまたは非構造化オブジェクトセットのコンテキストで調査されます。
ただし、ロボットがスタックなどの構造化されたオブジェクト形成と対話する必要がある建設や倉庫の自動化など、いくつかの設定があります。
これに関連して、これらのオブジェクトの正確な6DOFポーズを推定するとともに、把握するために適切なオブジェクトを選択する問題を定義します。
この問題に対処するために、スタックの上位層の遮るもののないオブジェクトを優先するカメラとIMUベースのアプローチを提案し、ベンチマークと評価のためのデータセットを導入し、オブジェクトの選択とポーズ精度を組み合わせた適切な評価メトリックを提案します。
実験結果は、私たちの方法は非常にうまく機能する可能性があるが、完全にエラーのないソリューションが必要な場合、これは困難な問題であることを示しています。
最後に、建設シナリオでレンガピッキングアプリケーションの方法の展開の結果を示します。

要約(オリジナル)

Vision-based robotic object grasping is typically investigated in the context of isolated objects or unstructured object sets in bin picking scenarios. However, there are several settings, such as construction or warehouse automation, where a robot needs to interact with a structured object formation such as a stack. In this context, we define the problem of selecting suitable objects for grasping along with estimating an accurate 6DoF pose of these objects. To address this problem, we propose a camera-IMU based approach that prioritizes unobstructed objects on the higher layers of stacks and introduce a dataset for benchmarking and evaluation, along with a suitable evaluation metric that combines object selection with pose accuracy. Experimental results show that although our method can perform quite well, this is a challenging problem if a completely error-free solution is needed. Finally, we show results from the deployment of our method for a brick-picking application in a construction scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google