Perceiving Unseen 3D Objects by Poking the Objects

要約

ロボットのインタラクティブな 3D オブジェクト認識への新しいアプローチを提示します。
既知のオブジェクト モデルまたは大量の注釈付きトレーニング データに依存する以前の認識アルゴリズムとは異なり、3D オブジェクトを自動的に検出して再構築する突っ込みベースのアプローチを提案します。
突くプロセスは、ロボットが目に見えない 3D オブジェクトを発見することを可能にするだけでなく、オブジェクトの 3D 再構成のためのマルチビュー観察も生成します。
再構成されたオブジェクトは、通常の教師あり学習を使用してニューラル ネットワークによって記憶され、新しいテスト画像で認識できます。
実世界のデータに関する実験は、私たちのアプローチが教師なしで目に見えない 3D オブジェクトを高品質で発見および再構築し、ロボットによる把持などの実世界のアプリケーションを促進できることを示しています。
コードと補足資料は、プロジェクト ページ (https://zju3dv.github.io/poking_perception) で入手できます。

要約(オリジナル)

We present a novel approach to interactive 3D object perception for robots. Unlike previous perception algorithms that rely on known object models or a large amount of annotated training data, we propose a poking-based approach that automatically discovers and reconstructs 3D objects. The poking process not only enables the robot to discover unseen 3D objects but also produces multi-view observations for 3D reconstruction of the objects. The reconstructed objects are then memorized by neural networks with regular supervised learning and can be recognized in new test images. The experiments on real-world data show that our approach could unsupervisedly discover and reconstruct unseen 3D objects with high quality, and facilitate real-world applications such as robotic grasping. The code and supplementary materials are available at the project page: https://zju3dv.github.io/poking_perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google