One-Shot Neural Fields for 3D Object Understanding

要約

ロボット工学のための統一されたコンパクトなシーン表現を提示します。シーン内の各オブジェクトは、ジオメトリと外観をキャプチャする潜在的なコードによって表現されます。
この表現は、新しいビューのレンダリング、3D 再構成 (深度、点群、またはボクセル マップの回復など)、衝突チェック、安定した把握予測などのさまざまなタスクのためにデコードできます。
私たちは、大規模なマルチビュー データセットでカテゴリレベルの事前分布を学習し、1 つまたは少数のビューから新しいオブジェクトを微調整する Neural Radiance Fields (NeRF) の最近の進歩を利用して、テスト時に単一の RGB 入力画像から表現を構築します。
NeRF モデルを拡張して追加の把握出力を実現し、この表現をロボット工学に活用する方法を検討します。
テスト時には、シーンを 1 つの視点のみから観察して、単一の RGB 入力画像から表現を構築します。
復元された表現により、遮蔽されたオブジェクト部分を含む新しいビューからのレンダリングが可能になり、安定した把握の成功を予測できることがわかりました。
把握ポーズは、暗黙的な把握デコーダを使用して潜在表現から直接デコードできます。
私たちはシミュレーションと現実世界の両方で実験を行い、このようなコンパクトな表現を使用して堅牢なロボットによる把握の機能を実証しました。
ウェブサイト: https://nerfgrasp.github.io

要約(オリジナル)

We present a unified and compact scene representation for robotics, where each object in the scene is depicted by a latent code capturing geometry and appearance. This representation can be decoded for various tasks such as novel view rendering, 3D reconstruction (e.g. recovering depth, point clouds, or voxel maps), collision checking, and stable grasp prediction. We build our representation from a single RGB input image at test time by leveraging recent advances in Neural Radiance Fields (NeRF) that learn category-level priors on large multiview datasets, then fine-tune on novel objects from one or few views. We expand the NeRF model for additional grasp outputs and explore ways to leverage this representation for robotics. At test-time, we build the representation from a single RGB input image observing the scene from only one viewpoint. We find that the recovered representation allows rendering from novel views, including of occluded object parts, and also for predicting successful stable grasps. Grasp poses can be directly decoded from our latent representation with an implicit grasp decoder. We experimented in both simulation and real world and demonstrated the capability for robust robotic grasping using such compact representation. Website: https://nerfgrasp.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google