Mesh-based Object Tracking for Dynamic Semantic 3D Scene Graphs via Ray Tracing

要約

この論文では、距離センサーと RGB カメラを使用して 3D 幾何学的なシーン グラフを生成する新しい方法を紹介します。
最初に YOLOv8s モデルを使用してインスタンスごとのキーポイントを検出し、PnP を解くことで既知のオブジェクトの 6D 姿勢推定を計算します。
レイ トレーシング アプローチを使用して、オブジェクト インスタンスのメッシュ モデルで構成される幾何学的なシーン グラフを追跡します。
従来のポイントツーポイント マッチングとは対照的に、これにより、特にオブジェクト インスタンス間のオクルージョン下で、より堅牢な結果が得られます。
このハイブリッド戦略を使用すると、同じ環境表現を使用して、堅牢な自己位置特定、距離センサー データの事前セグメント化、およびオブジェクトの正確な姿勢追跡が実現されることを示します。
検出されたすべてのオブジェクトは、セマンティック シーン グラフに統合されます。
このシーン グラフは、空間推論を可能にするセマンティック マッピング フレームワークのフロント エンドとして機能します。

要約(オリジナル)

In this paper, we present a novel method for 3D geometric scene graph generation using range sensors and RGB cameras. We initially detect instance-wise keypoints with a YOLOv8s model to compute 6D pose estimates of known objects by solving PnP. We use a ray tracing approach to track a geometric scene graph consisting of mesh models of object instances. In contrast to classical point-to-point matching, this leads to more robust results, especially under occlusions between objects instances. We show that using this hybrid strategy leads to robust self-localization, pre-segmentation of the range sensor data and accurate pose tracking of objects using the same environmental representation. All detected objects are integrated into a semantic scene graph. This scene graph then serves as a front end to a semantic mapping framework to allow spatial reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google