Volumetric Mapping with Panoptic Refinement via Kernel Density Estimation for Mobile Robots

要約

多くのロボット アプリケーションでは、意味を理解して 3 次元 (3D) シーンを再構築することが不可欠です。
ロボットは、与えられたタスクで正確に操作するために、どのオブジェクトをその位置や形状とともに識別する必要があります。
特にモバイル ロボットは通常、軽量ネットワークを使用して RGB 画像上のオブジェクトをセグメント化し、深度マップを介してそれらの位置を特定します。
ただし、マスクがオブジェクトを覆い隠すという配布外のシナリオに遭遇することがよくあります。
この論文では、ノンパラメトリック統計手法を使用してセグメンテーション エラーを洗練することにより、3D シーン再構築におけるパノラマ セグメンテーション品質の問題に対処します。
マスクの精度を高めるために、予測されたマスクを深度フレームにマッピングし、カーネル密度を介してマスクの分布を推定します。
次に、分布外シナリオに適応する方法で、追加のパラメーターを必要とせずに、奥行き知覚の外れ値が拒否され、その後、射影符号付き距離関数 (SDF) を使用して 3D 再構成が行われます。
合成データセットで手法を検証し、パノプティック マッピングの定量的結果と定性的結果の両方で改善が見られることを示しています。
実世界でのテストを通じて、結果はさらに、実際のロボット システムに導入できるこのメソッドの機能を示しています。
私たちのソース コードは、https://github.com/mkhangg/refined Panoptic Mapping で入手できます。

要約(オリジナル)

Reconstructing three-dimensional (3D) scenes with semantic understanding is vital in many robotic applications. Robots need to identify which objects, along with their positions and shapes, to manipulate them precisely with given tasks. Mobile robots, especially, usually use lightweight networks to segment objects on RGB images and then localize them via depth maps; however, they often encounter out-of-distribution scenarios where masks over-cover the objects. In this paper, we address the problem of panoptic segmentation quality in 3D scene reconstruction by refining segmentation errors using non-parametric statistical methods. To enhance mask precision, we map the predicted masks into a depth frame to estimate their distribution via kernel densities. The outliers in depth perception are then rejected without the need for additional parameters in an adaptive manner to out-of-distribution scenarios, followed by 3D reconstruction using projective signed distance functions (SDFs). We validate our method on a synthetic dataset, which shows improvements in both quantitative and qualitative results for panoptic mapping. Through real-world testing, the results furthermore show our method’s capability to be deployed on a real-robot system. Our source code is available at: https://github.com/mkhangg/refined panoptic mapping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google