Robust Bayesian Scene Reconstruction by Leveraging Retrieval-Augmented Priors

要約

オブジェクト ジオメトリの 3D 表現の構築は、多くの下流操作タスクにとって重要です。
これらの表現は、ノイズが含まれる可能性のある部分的な観測から構築する必要があります。
この研究では、単一の RGBD イメージからマルチオブジェクト シーンを再構成する問題に焦点を当てます。
この問題に対する現在の深層学習アプローチは、ノイズの多い現実世界の観測や分布外のオブジェクトに対して脆弱になる可能性があります。
トレーニング データに依存しない他のアプローチでは、オブジェクトの裏側を正確に推論できません。
我々は、既存のメッシュ データセットを活用して、ロバストな確率的再構成中に有益な事前分布を構築できる再構成手法である BRRP を提案します。
私たちの方法をより効率的にするために、推論中に事前分布の関連コンポーネントを取得する検索拡張事前の概念を導入します。
私たちの方法は、再構築または不確実性の測定に使用できる物体の形状全体にわたる分布を生成します。
手続き的に生成されたシーンと現実世界のシーンの両方でメソッドを評価します。
私たちの方法は深層学習アプローチよりも堅牢であると同時に、有益でない事前分布を使用する方法よりも正確であることを示します。

要約(オリジナル)

Constructing 3D representations of object geometry is critical for many downstream manipulation tasks. These representations must be built from potentially noisy partial observations. In this work we focus on the problem of reconstructing a multi-object scene from a single RGBD image. Current deep learning approaches to this problem can be brittle to noisy real world observations and out-of-distribution objects. Other approaches that do not rely on training data cannot accurately infer the backside of objects. We propose BRRP, a reconstruction method that can leverage preexisting mesh datasets to build an informative prior during robust probabilistic reconstruction. In order to make our method more efficient, we introduce the concept of retrieval-augmented prior, where we retrieve relevant components of our prior distribution during inference. Our method produces a distribution over object shape that can be used for reconstruction or measuring uncertainty. We evaluate our method in both procedurally generated scenes and in real world scenes. We show our method is more robust than a deep learning approach while being more accurate than a method with an uninformative prior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google