Real-time Holistic Robot Pose Estimation with Unknown States

要約

RGB 画像からロボットのポーズを推定することは、コンピューター ビジョンとロボット工学において重要な問題です。
これまでの手法は有望なパフォーマンスを達成していましたが、そのほとんどはロボットの内部状態を完全に知っていることを前提としています。
グラウンドトゥルースのロボット関節角度。
ただし、この仮定は実際の状況では常に有効であるとは限りません。
マルチロボットのコラボレーションや人間とロボットの対話などの実世界のアプリケーションでは、ロボットの関節状態が共有されないか、信頼性が低い場合があります。
一方で、関節状態事前分布なしでロボットの姿勢を推定する既存のアプローチは、計算負荷が大きいため、リアルタイム アプリケーションをサポートできません。
この研究では、既知のロボットの状態を必要とせずに、RGB 画像からリアルタイムでロボットの姿勢を推定するための効率的なフレームワークを導入します。
私たちの方法では、学習とシミュレーションからリアルへの転送を容易にするために各タスクにニューラル ネットワーク モジュールを採用し、カメラからロボットへの回転、ロボットの状態パラメータ、キーポイントの位置、およびルートの深さを推定します。
特に、反復的な最適化を行わずに、単一のフィードフォワード パスで推論を実現します。
私たちのアプローチは、最先端の精度で 12 倍の速度向上を実現し、リアルタイムで総合的なロボットの姿勢推定を初めて可能にします。
コードとモデルは https://github.com/Oliverbansk/Holistic-Robot-Pose-Estimation で入手できます。

要約(オリジナル)

Estimating robot pose from RGB images is a crucial problem in computer vision and robotics. While previous methods have achieved promising performance, most of them presume full knowledge of robot internal states, e.g. ground-truth robot joint angles. However, this assumption is not always valid in practical situations. In real-world applications such as multi-robot collaboration or human-robot interaction, the robot joint states might not be shared or could be unreliable. On the other hand, existing approaches that estimate robot pose without joint state priors suffer from heavy computation burdens and thus cannot support real-time applications. This work introduces an efficient framework for real-time robot pose estimation from RGB images without requiring known robot states. Our method estimates camera-to-robot rotation, robot state parameters, keypoint locations, and root depth, employing a neural network module for each task to facilitate learning and sim-to-real transfer. Notably, it achieves inference in a single feed-forward pass without iterative optimization. Our approach offers a 12-time speed increase with state-of-the-art accuracy, enabling real-time holistic robot pose estimation for the first time. Code and models are available at https://github.com/Oliverbansk/Holistic-Robot-Pose-Estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google