External Camera-based Mobile Robot Pose Estimation for Collaborative Perception with Smart Edge Sensors

要約

移動ロボットの姿勢 w.r.t を推定するためのアプローチを提示します。
マルチビュー RGB イメージを使用した静的カメラのネットワークのアロセントリック座標。
画像は、ディープ ニューラル ネットワークによってスマート エッジ センサー上でローカルにオンラインで処理され、ロボットを検出し、3D ロボット モデルの特徴的な位置で定義された 2D キーポイントを推定します。
ロボットのキーポイント検出は、再投影エラーのマルチビュー最小化によってロボットの姿勢が推定される中央バックエンドで同期および融合されます。
外部カメラからの姿勢推定により、ロボットのローカリゼーションは、完全に未知の状態 (誘拐されたロボットの問題) からアロセントリック マップで初期化され、時間の経過とともに確実に追跡されます。
ロボットの内部ナビゲーションスタックと比較して、カメラベースの姿勢推定の精度と堅牢性を評価する一連の実験を行い、カメラベースの方法が 3 cm および 1{\deg} 未満の姿勢誤差を達成し、ドリフトしないことを示します。
ロボットはアロセントリックにローカライズされているためです。
ロボットの姿勢が正確に推定されると、その観察結果をアロセントリック シーン モデルに融合できます。
モバイル ロボットと静的なスマート エッジ センサーからの観測が融合されて、$\sim$240 m$^2$ 屋内環境の 3D セマンティック マップを共同で構築する現実世界のアプリケーションを示します。

要約(オリジナル)

We present an approach for estimating a mobile robot’s pose w.r.t. the allocentric coordinates of a network of static cameras using multi-view RGB images. The images are processed online, locally on smart edge sensors by deep neural networks to detect the robot and estimate 2D keypoints defined at distinctive positions of the 3D robot model. Robot keypoint detections are synchronized and fused on a central backend, where the robot’s pose is estimated via multi-view minimization of reprojection errors. Through the pose estimation from external cameras, the robot’s localization can be initialized in an allocentric map from a completely unknown state (kidnapped robot problem) and robustly tracked over time. We conduct a series of experiments evaluating the accuracy and robustness of the camera-based pose estimation compared to the robot’s internal navigation stack, showing that our camera-based method achieves pose errors below 3 cm and 1{\deg} and does not drift over time, as the robot is localized allocentrically. With the robot’s pose precisely estimated, its observations can be fused into the allocentric scene model. We show a real-world application, where observations from mobile robot and static smart edge sensors are fused to collaboratively build a 3D semantic map of a $\sim$240 m$^2$ indoor environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google