STOPNet: Multiview-based 6-DoF Suction Detection for Transparent Objects on Production Lines

要約

この研究では、生産ラインでの 6-DoF 物体吸引検出用のフレームワークである STOPNet を紹介します。このフレームワークは、ロボット システムや現代産業における重要かつ困難な問題である透明な物体に焦点を当てていますが、これに限定されません。
深度入力を必要とする現在の方法は、深度カメラが形状を感知できないため、透明なオブジェクトでは失敗します。一方、私たちは、多視点ステレオに基づいて、RGB 入力のみに依存して生産ラインでシーンを再構成する新しいフレームワークを提案しました。
既存の研究と比較して、私たちの方法は、リアルタイムで高品質の 6-DoF 吸引ポーズを取得するために 3D シーン全体を再構成するだけでなく、シミュレーションにおいて、新しい環境、新しい配置、および挑戦的な透明オブジェクトを含む新しいオブジェクトにも一般化します。
そして現実世界。
シミュレーションと現実世界での広範な実験により、私たちの方法がベースラインを大幅に上回り、一般化可能性が高く、実際の産業ニーズに対応できることが示されました。

要約(オリジナル)

In this work, we present STOPNet, a framework for 6-DoF object suction detection on production lines, with a focus on but not limited to transparent objects, which is an important and challenging problem in robotic systems and modern industry. Current methods requiring depth input fail on transparent objects due to depth cameras’ deficiency in sensing their geometry, while we proposed a novel framework to reconstruct the scene on the production line depending only on RGB input, based on multiview stereo. Compared to existing works, our method not only reconstructs the whole 3D scene in order to obtain high-quality 6-DoF suction poses in real time but also generalizes to novel environments, novel arrangements and novel objects, including challenging transparent objects, both in simulation and the real world. Extensive experiments in simulation and the real world show that our method significantly surpasses the baselines and has better generalizability, which caters to practical industrial needs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google