NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) は、近年広く適用されるシーン表現技術となっており、ロボットのナビゲーションや操作タスクに利点を示しています。
ロボット工学における NeRF の有用性をさらに高めるために、NeRF シーン内のオブジェクトの 3D 境界ボックスを抽出するトランスフォーマー ベースのフレームワーク NeRF-Loc を提案します。
NeRF-Loc は、事前トレーニングされた NeRF モデルとカメラ ビューを入力として受け取り、オブジェクトのラベル付けされた指向性のある 3D バウンディング ボックスを出力として生成します。
現在の NeRF トレーニング ツールを使用すると、ロボットはリアルタイムで NeRF 環境モデルをトレーニングし、当社のアルゴリズムを使用して、下流のナビゲーションまたは操作タスクのために NeRF 内の対象オブジェクトの 3D 境界ボックスを識別できます。
具体的には、ターゲット オブジェクトのコンテキストと詳細の両方をエンコードするために、一対の並列トランスフォーマー エンコーダー ブランチ、つまり粗いストリームと細かいストリームを設計します。
次に、エンコードされた特徴はアテンション レイヤーと融合され、曖昧さを軽減して正確なオブジェクトの位置を特定します。
私たちの方法を、レンダリングされた RGB イメージと NeRF からの深度を入力として受け取る従来の RGB(-D) ベースの方法と比較しました。
私たちの方法はベースラインよりも優れています。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have become a widely-applied scene representation technique in recent years, showing advantages for robot navigation and manipulation tasks. To further advance the utility of NeRFs for robotics, we propose a transformer-based framework, NeRF-Loc, to extract 3D bounding boxes of objects in NeRF scenes. NeRF-Loc takes a pre-trained NeRF model and camera view as input and produces labeled, oriented 3D bounding boxes of objects as output. Using current NeRF training tools, a robot can train a NeRF environment model in real-time and, using our algorithm, identify 3D bounding boxes of objects of interest within the NeRF for downstream navigation or manipulation tasks. Concretely, we design a pair of paralleled transformer encoder branches, namely the coarse stream and the fine stream, to encode both the context and details of target objects. The encoded features are then fused together with attention layers to alleviate ambiguities for accurate object localization. We have compared our method with conventional RGB(-D) based methods that take rendered RGB images and depths from NeRFs as inputs. Our method is better than the baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google