Is Single-View Mesh Reconstruction Ready for Robotics?

要約

このペーパーでは、ロボット操作でデジタルツイン環境を作成するためのシングルビューメッシュ再構成モデ​​ルを評価します。
単一の視点からの3D再構成のコンピュータービジョンの最近の進歩は、ロボット工学コンテキストのための物理環境の仮想レプリカを効率的に作成するための潜在的なブレークスルーを示しています。
ただし、物理シミュレーションとロボット工学アプリケーションへの適合性は未調査のままです。
典型的な入力の処理、衝突のない安定した再構成の生成、閉塞の管理、計算上の制約の満たすことを含む、ロボットのコンテキストでの3D再構成のベンチマーク基準を確立します。
現実的なロボット工学データセットを使用した当社の経験的評価は、コンピュータービジョンベンチマークでの成功にもかかわらず、既存のアプローチがロボット工学固有の要件を満たしていないことを示しています。
マルチビューアプローチに焦点を当てた以前の作業とは対照的に、実用的なロボット工学の実装のためのシングルビュー再構築の制限を定量的に調べます。
私たちの調査結果は、コンピュータービジョンの進歩とロボット工学のニーズの間の重要なギャップを強調し、この交差点で将来の研究を導きます。

要約(オリジナル)

This paper evaluates single-view mesh reconstruction models for creating digital twin environments in robot manipulation. Recent advances in computer vision for 3D reconstruction from single viewpoints present a potential breakthrough for efficiently creating virtual replicas of physical environments for robotics contexts. However, their suitability for physics simulations and robotics applications remains unexplored. We establish benchmarking criteria for 3D reconstruction in robotics contexts, including handling typical inputs, producing collision-free and stable reconstructions, managing occlusions, and meeting computational constraints. Our empirical evaluation using realistic robotics datasets shows that despite success on computer vision benchmarks, existing approaches fail to meet robotics-specific requirements. We quantitively examine limitations of single-view reconstruction for practical robotics implementation, in contrast to prior work that focuses on multi-view approaches. Our findings highlight critical gaps between computer vision advances and robotics needs, guiding future research at this intersection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google