Sim2Real$^2$: Actively Building Explicit Physics Model for Precise Articulated Object Manipulation

要約

多関節オブジェクトを正確に操作することは、実際のロボット アプリケーションにとって困難でありながら重要なタスクです。
この論文では、Sim2Real$^2$ と呼ばれる新しいフレームワークを提示し、人間によるデモンストレーションなしで、ロボットが目に見えない多関節オブジェクトを望ましい状態に正確に操作できるようにします。
物理シミュレーションと学習ベースの認識における最近の進歩を活用して、オブジェクトのインタラクティブな明示的な物理モデルを構築し、それを使用して、タスクを達成するための長い地平線操作軌道を計画します。
ただし、インタラクティブなモデルは、静的な観測から正しく推定することはできません。
したがって、単一フレームの点群からオブジェクトのアフォーダンスを予測し、ロボットを制御して 1 ステップのアクションでオブジェクトと積極的に対話し、別の点群をキャプチャする方法を学習します。
さらに、物理モデルは 2 つの点群から構築されます。
実験結果は、私たちのフレームワークが、一般的な多関節オブジェクトの相対誤差が 30% 未満で、難しいオブジェクトの操作が 30% で、約 70% の操作を達成することを示しています。
私たちが提案するフレームワークは、さまざまなツールで操作するなど、高度な操作戦略も可能にします。
コードとビデオは、プロジェクトの Web ページ (https://ttimelord.github.io/Sim2Real2-site/) で入手できます。

要約(オリジナル)

Accurately manipulating articulated objects is a challenging yet important task for real robot applications. In this paper, we present a novel framework called Sim2Real$^2$ to enable the robot to manipulate an unseen articulated object to the desired state precisely in the real world with no human demonstrations. We leverage recent advances in physics simulation and learning-based perception to build the interactive explicit physics model of the object and use it to plan a long-horizon manipulation trajectory to accomplish the task. However, the interactive model cannot be correctly estimated from a static observation. Therefore, we learn to predict the object affordance from a single-frame point cloud, control the robot to actively interact with the object with a one-step action, and capture another point cloud. Further, the physics model is constructed from the two point clouds. Experimental results show that our framework achieves about 70% manipulations with <30% relative error for common articulated objects, and 30% manipulations for difficult objects. Our proposed framework also enables advanced manipulation strategies, such as manipulating with different tools. Code and videos are available on our project webpage: https://ttimelord.github.io/Sim2Real2-site/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google