RGB-Only Reconstruction of Tabletop Scenes for Collision-Free Manipulator Control

要約

世界のRGBビューのみを使用するロボットマニピュレーターの衝突のない制御のためのシステムを提示します。
テーブルトップ シーンの知覚入力は、ハンドヘルドまたはロボット エンド エフェクタに取り付けられた RGB カメラ (深度なし) の複数の画像によって提供されます。
NeRF に似たプロセスを使用してシーンの 3D ジオメトリを再構築し、そこからユークリッドの完全符号付き距離関数 (ESDF) を計算します。
次に、モデル予測制御アルゴリズムを使用して、マニピュレータを制御し、ESDF 内の障害物を回避しながら目的のポーズに到達します。
ラボで収集され、注釈が付けられた実際のデータセットの結果を示します。

要約(オリジナル)

We present a system for collision-free control of a robot manipulator that uses only RGB views of the world. Perceptual input of a tabletop scene is provided by multiple images of an RGB camera (without depth) that is either handheld or mounted on the robot end effector. A NeRF-like process is used to reconstruct the 3D geometry of the scene, from which the Euclidean full signed distance function (ESDF) is computed. A model predictive control algorithm is then used to control the manipulator to reach a desired pose while avoiding obstacles in the ESDF. We show results on a real dataset collected and annotated in our lab.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google