GaussianGrasper: 3D Language Gaussian Splatting for Open-vocabulary Robotic Grasping

要約

無制限の言語クエリに対応できる 3D シーンを構築することは、特にロボット工学の分野において極めて重要な課題です。
このような技術により、ロボットは人間の言語の指示に基づいてオブジェクト操作を実行することが容易になります。
この課題に取り組むために、言語に埋め込まれた暗黙的なフィールドの開発にいくつかの研究努力が注がれてきました。
ただし、暗黙的フィールド (NeRF など) は、推論における固有の非効率性と相まって、再構築のために多数の入力ビューを処理する必要があるため、制限に直面します。
したがって、3D ガウス スプラッティングを利用してシーンをガウス プリミティブのコレクションとして明示的に表現する GaussianGrasper を紹介します。
私たちのアプローチでは、限られた RGB-D ビューのセットを使用し、タイルベースのスプラッティング手法を使用して特徴フィールドを作成します。
特に、基礎モデルから派生した言語埋め込みを効率的かつ正確に抽出するために対照学習を採用する効率的特徴抽出 (EFD) モジュールを提案します。
ガウス場の再構成されたジオメトリを使用すると、私たちの方法では、事前にトレーニングされた把握モデルが衝突のない把握ポーズの候補を生成できるようになります。
さらに、最適な掴み姿勢を選択するための法線ガイド付き掴みモジュールを提案します。
包括的な現実世界の実験を通じて、GaussianGrasper によりロボットが言語命令を使用してオブジェクトを正確にクエリおよび把握できるようになり、言語ガイドによる操作タスクに新しいソリューションが提供されることを実証しました。
データとコードは https://github.com/MrSecant/GaussianGrasper で入手できます。

要約(オリジナル)

Constructing a 3D scene capable of accommodating open-ended language queries, is a pivotal pursuit, particularly within the domain of robotics. Such technology facilitates robots in executing object manipulations based on human language directives. To tackle this challenge, some research efforts have been dedicated to the development of language-embedded implicit fields. However, implicit fields (e.g. NeRF) encounter limitations due to the necessity of processing a large number of input views for reconstruction, coupled with their inherent inefficiencies in inference. Thus, we present the GaussianGrasper, which utilizes 3D Gaussian Splatting to explicitly represent the scene as a collection of Gaussian primitives. Our approach takes a limited set of RGB-D views and employs a tile-based splatting technique to create a feature field. In particular, we propose an Efficient Feature Distillation (EFD) module that employs contrastive learning to efficiently and accurately distill language embeddings derived from foundational models. With the reconstructed geometry of the Gaussian field, our method enables the pre-trained grasping model to generate collision-free grasp pose candidates. Furthermore, we propose a normal-guided grasp module to select the best grasp pose. Through comprehensive real-world experiments, we demonstrate that GaussianGrasper enables robots to accurately query and grasp objects with language instructions, providing a new solution for language-guided manipulation tasks. Data and codes can be available at https://github.com/MrSecant/GaussianGrasper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google