A Distance-Geometric Method for Recovering Robot Joint Angles From an RGB Image

要約

水中、地球外、危険な環境など、人間の介入が困難または不可能な領域で動作する自律型操作システムには、センシングや通信の障害に対する高度なロバスト性が要求されます。特に、運動計画や制御アルゴリズムには、ジョイントエンコーダから提供される正確な関節角度データのストリームが必要であり、その故障は回復不可能な機能喪失につながる可能性がある。本論文では、1枚のRGB画像からロボットマニピュレータの関節角度を取得する新しい手法を提案し、従来の固有感覚センサが利用できない場合のシステム機能回復の道を開くものである。本アプローチでは、ロボットの運動学的モデルを利用し、検出された構造的キーポイントの距離を2次元から3次元に回帰するニューラルネットワークを学習させることで、配置空間の距離幾何学表現に基づくアプローチをとる。得られたユークリッド距離行列は、多次元スケーリングと簡単な逆運動学的手法により関節角度を回復することができ、観測された構成に一意に対応することが示された。本手法の性能をフランカ・エミカ・パンダの実RGB画像で評価し、提案手法が効率的であり、確かな汎化能力を持つことを示す。さらに、提案手法を高密度化手法と容易に組み合わせることで、より優れた結果を得られることを示す。

要約(オリジナル)

Autonomous manipulation systems operating in domains where human intervention is difficult or impossible (e.g., underwater, extraterrestrial or hazardous environments) require a high degree of robustness to sensing and communication failures. Crucially, motion planning and control algorithms require a stream of accurate joint angle data provided by joint encoders, the failure of which may result in an unrecoverable loss of functionality. In this paper, we present a novel method for retrieving the joint angles of a robot manipulator using only a single RGB image of its current configuration, opening up an avenue for recovering system functionality when conventional proprioceptive sensing is unavailable. Our approach, based on a distance-geometric representation of the configuration space, exploits the knowledge of a robot’s kinematic model with the goal of training a shallow neural network that performs a 2D-to-3D regression of distances associated with detected structural keypoints. It is shown that the resulting Euclidean distance matrix uniquely corresponds to the observed configuration, where joint angles can be recovered via multidimensional scaling and a simple inverse kinematics procedure. We evaluate the performance of our approach on real RGB images of a Franka Emika Panda manipulator, showing that the proposed method is efficient and exhibits solid generalization ability. Furthermore, we show that our method can be easily combined with a dense refinement technique to obtain superior results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL