Exploiting Radiance Fields for Grasp Generation on Novel Synthetic Views

要約

ビジョンベースのロボット操作は、カメラを使用して、操作するオブジェクトを含むシーンの1つ以上の画像をキャプチャします。
複数の画像を使用すると、ある視点からオブジェクトが閉塞されているが、別の視点からより目立つ場合に役立ちます。
ただし、複数の画像をキャプチャするためにカメラを適切な位置に移動する必要があります。これは、到達可能性の制約のために時間を必要とし、常に可能であるとは限りません。
そのため、追加の情報が利用可能な追加情報により、より正確な把握ポーズを作成できますが、サンプリングされた追加ビューの数にはタイムコストが増加します。
Gaussian Splattingのようなシーン表現は、ユーザーが指定した新しい視点から正確なフォトリアリックな仮想画像をレンダリングすることができます。
この作業では、新しいビュー合成が把握ポーズを生成する際に追加のコンテキストを提供できることを示す初期結果を示します。
GraspNet-10億のデータセットでの実験は、まばらにサンプリングされた実際のビューから得られたフォースクローザスの把握に加えて、把握の範囲を改善したものに加えて、斬新なビューが力の閉鎖を把握したことを示しています。
将来的には、この作業を拡張して、拡散モデルや一般化可能な放射輝度フィールドなど、単一の入力画像で構築された放射磁場からの抽出を改善できることを願っています。

要約(オリジナル)

Vision based robot manipulation uses cameras to capture one or more images of a scene containing the objects to be manipulated. Taking multiple images can help if any object is occluded from one viewpoint but more visible from another viewpoint. However, the camera has to be moved to a sequence of suitable positions for capturing multiple images, which requires time and may not always be possible, due to reachability constraints. So while additional images can produce more accurate grasp poses due to the extra information available, the time-cost goes up with the number of additional views sampled. Scene representations like Gaussian Splatting are capable of rendering accurate photorealistic virtual images from user-specified novel viewpoints. In this work, we show initial results which indicate that novel view synthesis can provide additional context in generating grasp poses. Our experiments on the Graspnet-1billion dataset show that novel views contributed force-closure grasps in addition to the force-closure grasps obtained from sparsely sampled real views while also improving grasp coverage. In the future we hope this work can be extended to improve grasp extraction from radiance fields constructed with a single input image, using for example diffusion models or generalizable radiance fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google