RGBManip: Monocular Image-based Robotic Manipulation through Active Object Pose Estimation

要約

ロボット操作には環境を正確に認識する必要がありますが、その固有の複雑さと常に変化する性質により、これは大きな課題となります。
これに関連して、RGB 画像と点群の観察は、視覚ベースのロボット操作で一般的に使用される 2 つのモダリティですが、これらのモダリティにはそれぞれ独自の制限があります。
商用点群観測では、発光・受光イメージング原理の限界により、サンプリングがまばらで出力にノイズが多いなどの問題が発生することがよくあります。
一方、RGB 画像にはテクスチャ情報が豊富ですが、ロボット操作に不可欠な深さと 3D 情報が不足しています。
これらの課題を軽減するために、ロボットの平行グリッパーに取り付けられた目のオンハンド単眼カメラを活用する、画像のみのロボット操作フレームワークを提案します。
ロボット グリッパーと一緒に移動することにより、このカメラは操作プロセス中に複数の視点からオブジェクトを能動的に認識する能力を獲得します。
これにより、6D オブジェクトの姿勢の推定が可能になり、操作に利用できます。
より多くの多様な視点から画像を取得すると、通常、姿勢推定が向上しますが、操作時間も増加します。
このトレードオフに対処するために、強化学習ポリシーを採用して操作戦略を能動的な知覚と同期させ、6D ポーズの精度と操作効率のバランスを実現します。
シミュレーション環境と現実世界の両方の環境での実験結果は、私たちのアプローチの最先端の有効性を示しています。
% は、私たちの知る限り、アクティブな姿勢推定を通じて堅牢な現実世界のロボット操作を初めて実現したものです。
私たちは、私たちの手法が現実世界指向のロボット操作に関するさらなる研究に刺激を与えると信じています。

要約(オリジナル)

Robotic manipulation requires accurate perception of the environment, which poses a significant challenge due to its inherent complexity and constantly changing nature. In this context, RGB image and point-cloud observations are two commonly used modalities in visual-based robotic manipulation, but each of these modalities have their own limitations. Commercial point-cloud observations often suffer from issues like sparse sampling and noisy output due to the limits of the emission-reception imaging principle. On the other hand, RGB images, while rich in texture information, lack essential depth and 3D information crucial for robotic manipulation. To mitigate these challenges, we propose an image-only robotic manipulation framework that leverages an eye-on-hand monocular camera installed on the robot’s parallel gripper. By moving with the robot gripper, this camera gains the ability to actively perceive object from multiple perspectives during the manipulation process. This enables the estimation of 6D object poses, which can be utilized for manipulation. While, obtaining images from more and diverse viewpoints typically improves pose estimation, it also increases the manipulation time. To address this trade-off, we employ a reinforcement learning policy to synchronize the manipulation strategy with active perception, achieving a balance between 6D pose accuracy and manipulation efficiency. Our experimental results in both simulated and real-world environments showcase the state-of-the-art effectiveness of our approach. %, which, to the best of our knowledge, is the first to achieve robust real-world robotic manipulation through active pose estimation. We believe that our method will inspire further research on real-world-oriented robotic manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google