Robust Bayesian Scene Reconstruction by Leveraging Retrieval-Augmented Priors

要約

オブジェクト ジオメトリの 3D 表現の構築は、多くの下流のロボット工学タスク、特に卓上での操作の問題にとって重要です。
これらの表現は、ノイズが含まれる可能性のある部分的な観測から構築する必要があります。
この研究では、単一の RGBD イメージ (通常はシーン内の固定カメラから) からマルチオブジェクト シーンを再構成する問題に焦点を当てます。
従来のシーン表現方法では、一般に、オブジェクトの観察されていない領域の幾何学形状を画像から推測することができません。
深層学習を活用して、観察されたオブジェクトと表現のデータセットでトレーニングし、新しい観察に一般化する試みが行われてきました。
ただし、これはノイズの多い現実世界の観測やデータセットに含まれないオブジェクトに対して脆弱になる可能性があり、その信頼性を推論することはできません。
我々は、既存のメッシュ データセットを活用してロバストな確率的再構成中に有益な事前分布を構築する再構成手法である BRRP を提案します。
私たちの方法をより効率的にするために、推定中に事前分布の関連コンポーネントを取得する、検索拡張事前の概念を導入します。
事前分布は、シーン内のオブジェクトの遮蔽された部分のジオメトリを推定するために使用されます。
私たちの方法は、再構築または不確実性の測定に使用できる物体の形状全体にわたる分布を生成します。
私たちは、シミュレーションされたシーンと現実世界の両方でメソッドを評価します。
私たちは、深層学習のみのアプローチに対する私たちの方法の堅牢性を実証しながら、有益な事前情報を持たない方法よりも正確であることを示します。

要約(オリジナル)

Constructing 3D representations of object geometry is critical for many downstream robotics tasks, particularly tabletop manipulation problems. These representations must be built from potentially noisy partial observations. In this work, we focus on the problem of reconstructing a multi-object scene from a single RGBD image, generally from a fixed camera in the scene. Traditional scene representation methods generally cannot infer the geometry of unobserved regions of the objects from the image. Attempts have been made to leverage deep learning to train on a dataset of observed objects and representations, and then generalize to new observations. However, this can be brittle to noisy real-world observations and objects not contained in the dataset, and cannot reason about their confidence. We propose BRRP, a reconstruction method that leverages preexisting mesh datasets to build an informative prior during robust probabilistic reconstruction. In order to make our method more efficient, we introduce the concept of retrieval-augmented prior, where we retrieve relevant components of our prior distribution during inference. The prior is used to estimate the geometry of occluded portions of the in-scene objects. Our method produces a distribution over object shape that can be used for reconstruction or measuring uncertainty. We evaluate our method in both simulated scenes and in the real world. We demonstrate the robustness of our method against deep learning-only approaches while being more accurate than a method without an informative prior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google