A Distance-Geometric Method for Recovering Robot Joint Angles From an RGB Image

要約

タイトル：RGB画像からロボットのジョイント角度を復元する距離幾何学手法

要約：

– 人間の介入が困難な場所、たとえば水中、宇宙、あるいは危険な環境などで作動する自律型操作システムは、センシングやコミュニケーションの不具合に対して高いロバスト性が必要とされます。
– 本論文では、ジョイントエンコーダーから提供される正確なジョイント角度データの流れがクラッシュすることで実行機能の損失が回復不能になることがあります。この問題に対応するために、現在の構成に対する単一のRGB画像だけでロボットマニピュレータのジョイント角度を取得する新しい手法を提案します。
– 当社が提案するアプローチは、構成空間の距離幾何学的表現に基づいており、検出された構造的なキーポイントに関連する距離の2D-3D回帰を実行する浅いニューラルネットワークをトレーニングすることを目的としています。
– 結果得られるユークリッド距離行列は、観測された構成に対応することが示されており、多次元スケーリングと単純な逆運動学手続きを介してジョイント角度を復元することができます。
– 当社の手法の性能を実際のFranka Emika PandaマニピュレータのRGB画像で評価し、提案された手法が効率的かつ堅牢な汎化能力を示すことを示します。
– さらに、当社の手法は、密度の高い改善技術と簡単に組み合わせて、優れた結果を得ることができます。

要約(オリジナル)

Autonomous manipulation systems operating in domains where human intervention is difficult or impossible (e.g., underwater, extraterrestrial or hazardous environments) require a high degree of robustness to sensing and communication failures. Crucially, motion planning and control algorithms require a stream of accurate joint angle data provided by joint encoders, the failure of which may result in an unrecoverable loss of functionality. In this paper, we present a novel method for retrieving the joint angles of a robot manipulator using only a single RGB image of its current configuration, opening up an avenue for recovering system functionality when conventional proprioceptive sensing is unavailable. Our approach, based on a distance-geometric representation of the configuration space, exploits the knowledge of a robot’s kinematic model with the goal of training a shallow neural network that performs a 2D-to-3D regression of distances associated with detected structural keypoints. It is shown that the resulting Euclidean distance matrix uniquely corresponds to the observed configuration, where joint angles can be recovered via multidimensional scaling and a simple inverse kinematics procedure. We evaluate the performance of our approach on real RGB images of a Franka Emika Panda manipulator, showing that the proposed method is efficient and exhibits solid generalization ability. Furthermore, we show that our method can be easily combined with a dense refinement technique to obtain superior results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI