Learning Generalizable Feature Fields for Mobile Manipulation

要約

モバイル操作における未解決の問題は、ロボットがナビゲーションと操作の両方に使用できるように、オブジェクトとシーンを統一された方法で表現する方法です。
後者では、詳細なセマンティクスを理解しながら複雑なジオメトリをキャプチャする必要がありますが、前者では、広大な物理スケールに固有の複雑さをキャプチャする必要があります。
この研究では、リアルタイムで実行されるナビゲーションと操作の両方の統一表現として機能する、シーンレベルの一般化可能なニューラル特徴フィールドである GeFF (Generalizable Feature Fields) を紹介します。
これを行うために、生成的な新しいビューの合成を事前トレーニング タスクとして扱い、その後、CLIP 特徴の蒸留によって、結果として得られる豊富なシーンの事前分布を自然言語と調整します。
マニピュレータを備えた四足歩行ロボットに GeFF を展開することで、このアプローチの有効性を実証します。
我々は、オープンボキャブラリのオブジェクトレベル/パーツレベルの操作に対するGeFFの能力を定量的に評価し、セマンティクスを意識したナビゲーションと明確なオブジェクト操作の定性的な例を用いて、GeFFがランタイムとストレージ精度のトレードオフにおいてポイントベースのベースラインよりも優れていることを示します。

要約(オリジナル)

An open problem in mobile manipulation is how to represent objects and scenes in a unified manner so that robots can use both for navigation and manipulation. The latter requires capturing intricate geometry while understanding fine-grained semantics, whereas the former involves capturing the complexity inherent at an expansive physical scale. In this work, we present GeFF (Generalizable Feature Fields), a scene-level generalizable neural feature field that acts as a unified representation for both navigation and manipulation that performs in real-time. To do so, we treat generative novel view synthesis as a pre-training task, and then align the resulting rich scene priors with natural language via CLIP feature distillation. We demonstrate the effectiveness of this approach by deploying GeFF on a quadrupedal robot equipped with a manipulator. We quantitatively evaluate GeFF’s ability for open-vocabulary object-/part-level manipulation and show that GeFF outperforms point-based baselines in runtime and storage-accuracy trade-offs, with qualitative examples of semantics-aware navigation and articulated object manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google