DM-OSVP++: One-Shot View Planning Using 3D Diffusion Models for Active RGB-Based Object Reconstruction

要約

アクティブオブジェクトの再構築は、多くのロボットアプリケーションにとって重要です。
これらのシナリオの重要な側面は、オブジェクト固有のビュー構成を生成して、再構築のための有益な測定値を取得することです。
ワンショットビュー計画は、すべてのビューを一度に予測し、時間のかかるオンライン再生の必要性を排除することにより、効率的なデータ収集を可能にします。
私たちの主な洞察は、3D拡散モデルの生成力を貴重な事前情報として活用することです。
最初のマルチビュー画像を条件付けすることにより、3D拡散モデルからプライアーを悪用して、おおよそのオブジェクトモデルを生成し、ビュー計画の基礎として機能します。
私たちの斬新なアプローチでは、オブジェクトモデルの幾何学的およびテクスチャー分布をビュー計画プロセスに統合し、再構築するオブジェクトの複雑な部分に焦点を当てたビューを生成します。
シミュレーションと現実世界の両方の実験を通じて提案されたアクティブオブジェクト再構成システムを検証し、ワンショットビュー計画に3D拡散前に使用する有効性を実証します。

要約(オリジナル)

Active object reconstruction is crucial for many robotic applications. A key aspect in these scenarios is generating object-specific view configurations to obtain informative measurements for reconstruction. One-shot view planning enables efficient data collection by predicting all views at once, eliminating the need for time-consuming online replanning. Our primary insight is to leverage the generative power of 3D diffusion models as valuable prior information. By conditioning on initial multi-view images, we exploit the priors from the 3D diffusion model to generate an approximate object model, serving as the foundation for our view planning. Our novel approach integrates the geometric and textural distributions of the object model into the view planning process, generating views that focus on the complex parts of the object to be reconstructed. We validate the proposed active object reconstruction system through both simulation and real-world experiments, demonstrating the effectiveness of using 3D diffusion priors for one-shot view planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google