Triple Regression for Camera Agnostic Sim2Real Robot Grasping and Manipulation Tasks

要約

Sim2Real (現実へのシミュレーション) 技術は、エージェントがさまざまなポリシーや軌道をテストおよび評価できるようにすることで成功率を向上できるため、ロボット操作や動作計画において注目を集めています。
この論文では、Sim2Real をロボット フレームワークに統合する利点を調査します。
リアルタイムのデジタル ツインを構築する Triple Regression Sim2Real フレームワークを紹介します。
このツインは、現実世界のシナリオで実行する前に複数の計画をシミュレートおよび評価するための現実のレプリカとして機能します。
当社の三重回帰アプローチは、(1) 最初の 2 つの回帰モデルを通じて実際のカメラ視点とシミュレートされたカメラ視点の間の投影誤差を軽減し、(2) 3 番目の回帰モデルを使用してロボット制御の不一致を検出することによって現実ギャップに対処します。
6-DoF の把握および操作タスク (グリッパーがあらゆる方向からアプローチできる) の実験では、フレームワークの有効性が強調されています。
驚くべきことに、RGB 入力画像のみを使用して、私たちの方法は最先端の成功率を達成します。
この研究は、効率的なロボットのトレーニング方法を進歩させ、ロボット工学と自動化の急速な進歩の基礎を築きます。

要約(オリジナル)

Sim2Real (Simulation to Reality) techniques have gained prominence in robotic manipulation and motion planning due to their ability to enhance success rates by enabling agents to test and evaluate various policies and trajectories. In this paper, we investigate the advantages of integrating Sim2Real into robotic frameworks. We introduce the Triple Regression Sim2Real framework, which constructs a real-time digital twin. This twin serves as a replica of reality to simulate and evaluate multiple plans before their execution in real-world scenarios. Our triple regression approach addresses the reality gap by: (1) mitigating projection errors between real and simulated camera perspectives through the first two regression models, and (2) detecting discrepancies in robot control using the third regression model. Experiments on 6-DoF grasp and manipulation tasks (where the gripper can approach from any direction) highlight the effectiveness of our framework. Remarkably, with only RGB input images, our method achieves state-of-the-art success rates. This research advances efficient robot training methods and sets the stage for rapid advancements in robotics and automation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google