Exploiting Priors from 3D Diffusion Models for RGB-Based One-Shot View Planning

要約

オブジェクトの再構築は、環境との対話を必要とする多くの自律ロボット タスクに関連します。
このようなシナリオにおける主な課題は、最初は未知のオブジェクトを再構築するための有益な測定値を収集するためのビュー構成を計画することです。
ワンショット ビュー プランニングにより、ビュー構成を予測し、すべてのビューを一度に接続するグローバル最短パスを計画することで、効率的なデータ収集が可能になります。
ただし、ワンショット ビュー プランニングを行うには、オブジェクトに関する幾何学的事前分布が必要です。
この研究では、拡散モデルの強力な 3D 生成機能を事前分布として利用する、新しいワンショット ビュー計画アプローチを提案します。
このような幾何学的事前分布をパイプラインに組み込むことにより、再構築されるオブジェクトの 1 つの RGB 画像のみから開始する効果的なワンショット ビュー プランニングを実現します。
シミュレーションと現実世界のセットアップでの計画実験により、私たちのアプローチがオブジェクトの再構成の品質と移動コストのバランスが取れていることがわかりました。

要約(オリジナル)

Object reconstruction is relevant for many autonomous robotic tasks that require interaction with the environment. A key challenge in such scenarios is planning view configurations to collect informative measurements for reconstructing an initially unknown object. One-shot view planning enables efficient data collection by predicting view configurations and planning the globally shortest path connecting all views at once. However, geometric priors about the object are required to conduct one-shot view planning. In this work, we propose a novel one-shot view planning approach that utilizes the powerful 3D generation capabilities of diffusion models as priors. By incorporating such geometric priors into our pipeline, we achieve effective one-shot view planning starting with only a single RGB image of the object to be reconstructed. Our planning experiments in simulation and real-world setups indicate that our approach balances well between object reconstruction quality and movement cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google