Real-time Holistic Robot Pose Estimation with Unknown States

要約

RGB 画像からロボットのポーズを推定することは、コンピューター ビジョンとロボット工学において重要な問題です。
これまでの手法は有望なパフォーマンスを達成していましたが、そのほとんどはロボットの内部状態を完全に知っていることを前提としています。
現実世界のシナリオでは常に利用できるわけではない、グラウンドトゥルースのロボット関節角度。
一方で、関節状態事前分布なしでロボットの姿勢を推定する既存のアプローチは、計算負荷が大きいため、リアルタイム アプリケーションをサポートできません。
この研究は、未知の状態でロボットの姿勢を効率的に推定するという緊急のニーズに対処します。
私たちは、既知のロボットの状態が存在しない場合でも、単一の RGB 画像からリアルタイムで総合的なロボットの姿勢推定を行うためのエンドツーエンドのパイプラインを提案します。
私たちの方法では、問題をカメラからロボットへの回転、ロボットの状態パラメータ、キーポイントの位置、ルートの深さの推定に分解します。
さらに、各タスクに対応するニューラル ネットワーク モジュールを設計します。
このアプローチにより、多面表現の学習が可能になり、自己教師あり学習によるシミュレーションからリアルへの移行が容易になります。
特に、私たちの方法は単一のフィードフォワードで推論を実現し、コストのかかるテスト時の反復最適化の必要性を排除します。
その結果、最先端の精度で 12 倍の速度向上が実現し、初めてリアルタイムで全体的なロボットの姿勢推定が可能になりました。
コードは https://oliverbansk.github.io/Holistic-Robot-Pose/ で入手できます。

要約(オリジナル)

Estimating robot pose from RGB images is a crucial problem in computer vision and robotics. While previous methods have achieved promising performance, most of them presume full knowledge of robot internal states, e.g. ground-truth robot joint angles, which are not always available in real-world scenarios. On the other hand, existing approaches that estimate robot pose without joint state priors suffer from heavy computation burdens and thus cannot support real-time applications. This work addresses the urgent need for efficient robot pose estimation with unknown states. We propose an end-to-end pipeline for real-time, holistic robot pose estimation from a single RGB image, even in the absence of known robot states. Our method decomposes the problem into estimating camera-to-robot rotation, robot state parameters, keypoint locations, and root depth. We further design a corresponding neural network module for each task. This approach allows for learning multi-facet representations and facilitates sim-to-real transfer through self-supervised learning. Notably, our method achieves inference with a single feedforward, eliminating the need for costly test-time iterative optimization. As a result, it delivers a 12-time speed boost with state-of-the-art accuracy, enabling real-time holistic robot pose estimation for the first time. Code is available at https://oliverbansk.github.io/Holistic-Robot-Pose/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google