Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions

要約

オブジェクトは一般に遮蔽された表面を持っているため、3D 表現なしでは目に見えないオブジェクトを操作するのは困難です。
これには、オブジェクトの内部表現を構築するためにオブジェクトとの物理的な相互作用が必要です。
この論文では、ロボットが不慣れな方向で操作するために特定のオブジェクトの完全な 3D モデルを迅速に学習できるようにするアプローチを紹介します。
部分的に構築された NeRF モデルのアンサンブルを使用してモデルの不確実性を定量化し、情報提供性と実現可能性を最適化することで次のアクション (視覚的または方向転換アクション) を決定します。
さらに、私たちのアプローチは、部分的な NeRF モデルを考慮してオブジェクトをいつどのように把握して方向を変更するかを決定し、オブジェクトの姿勢を再推定して、インタラクション中に導入された位置ずれを修正します。
ベンチマーク オブジェクトを備えたテーブルトップ環境で動作するシミュレートされた Franka Emika ロボット マニピュレータを使用した実験では、(i) 視覚的再構成品質 (PSNR) で 14%、(ii) オブジェクト表面の幾何学的/深度再構成 (F) で 20% の向上が実証されました。
-スコア)、および (iii) シーン内の目に見えない方向/安定した構成をアプリオリにオブジェクトを操作するタスクの成功率は 71%。
現在の方法を超えています。
プロジェクト ページは https://actnerf.github.io にあります。

要約(オリジナル)

Manipulating unseen objects is challenging without a 3D representation, as objects generally have occluded surfaces. This requires physical interaction with objects to build their internal representations. This paper presents an approach that enables a robot to rapidly learn the complete 3D model of a given object for manipulation in unfamiliar orientations. We use an ensemble of partially constructed NeRF models to quantify model uncertainty to determine the next action (a visual or re-orientation action) by optimizing informativeness and feasibility. Further, our approach determines when and how to grasp and re-orient an object given its partial NeRF model and re-estimates the object pose to rectify misalignments introduced during the interaction. Experiments with a simulated Franka Emika Robot Manipulator operating in a tabletop environment with benchmark objects demonstrate an improvement of (i) 14% in visual reconstruction quality (PSNR), (ii) 20% in the geometric/depth reconstruction of the object surface (F-score) and (iii) 71% in the task success rate of manipulating objects a-priori unseen orientations/stable configurations in the scene; over current methods. The project page can be found here: https://actnerf.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google