Challenges for Monocular 6D Object Pose Estimation in Robotics

要約

オブジェクトの姿勢推定は、オブジェクトの把握やシーンの理解などを可能にする中心的な認識タスクです。
広く入手可能で、安価で高解像度の RGB センサーと、このモダリティに基づく高速推論を可能にする CNN により、単眼アプローチはロボット工学アプリケーションに特に適しています。
物体の姿勢推定に関するこれまでの調査では、さまざまなモダリティ、シングルビューとマルチビューの設定、および多数のアプリケーションを考慮したデータセットとメトリクスの最先端が確立されていることがわかりました。
しかし、我々は、これらの研究の範囲が広いため、単眼アプローチに特有の未解決の課題の特定や、ロボット工学への応用のための有望な将来の課題の導出を妨げていると主張する。
ロボット工学とコンピューター ビジョンの両方に関する最近の出版物に関する統一的な見解を提供することで、オクルージョンの処理、新しい姿勢表現、カテゴリレベルの姿勢推定の形式化と改善が依然としてロボット工学に関連性の高い基本的な課題であることがわかりました。
さらに、ロボットのパフォーマンスをさらに向上させるには、大きなオブジェクトセット、新しいオブジェクト、屈折材料、不確実性の推定が中心的であり、ほとんど未解決の未解決の課題です。
これらに対処するには、存在論的推論、変形可能性の処理、シーンレベルの推論、現実的なデータセット、およびアルゴリズムのエコロジカル フットプリントを改善する必要があります。

要約(オリジナル)

Object pose estimation is a core perception task that enables, for example, object grasping and scene understanding. The widely available, inexpensive and high-resolution RGB sensors and CNNs that allow for fast inference based on this modality make monocular approaches especially well suited for robotics applications. We observe that previous surveys on object pose estimation establish the state of the art for varying modalities, single- and multi-view settings, and datasets and metrics that consider a multitude of applications. We argue, however, that those works’ broad scope hinders the identification of open challenges that are specific to monocular approaches and the derivation of promising future challenges for their application in robotics. By providing a unified view on recent publications from both robotics and computer vision, we find that occlusion handling, novel pose representations, and formalizing and improving category-level pose estimation are still fundamental challenges that are highly relevant for robotics. Moreover, to further improve robotic performance, large object sets, novel objects, refractive materials, and uncertainty estimates are central, largely unsolved open challenges. In order to address them, ontological reasoning, deformability handling, scene-level reasoning, realistic datasets, and the ecological footprint of algorithms need to be improved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google