Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation

要約

タイトル：ロボットマニピュレーションのためのシミュレーション-リアル間密度物体ディスクリプタの学習
要約：
– 視覚に基づくマニピュレーションタスクにおいては、ロボットが密度物体ディスクリプタといったリッチな情報を視覚的に学習し理解することが重要である。
– ロボティクスのシミュレーション-リアル転送は、シミュレーションとリアルのデータの差を縮めることを目的としている。
– 本論文では、SRDON(シミュレーション-リアル密度物体ネット)を提案する。これは、適切な表現によりオブジェクトを理解し、ピクセルの一致性を持つ統一された特徴空間にシミュレートとリアルなデータをマッピングする密度物体ディスクリプタである。
– 異なるシーンやドメインからの画像ペアのオブジェクトマッチング手法を提案し、GraspNetなどの公共データセットを活用することで、現実世界のトレーニングデータを減らすことができる。
– SRDONは、シミュレーション-リアルオブジェクト表現の一貫性により、さまざまなシミュレーション-リアルマニピュレーションタスクにおいて重要な役割を果たすことができる。そして、我々は、SRDONを用いた先行学習が、ゼロリアルトレーニングにおける様々なロボットタスクにおいて、未知のオブジェクトと未知の視覚環境において、パフォーマンスを大幅に向上させることを実証する。

要約(オリジナル)

It is crucial to address the following issues for ubiquitous robotics manipulation applications: (a) vision-based manipulation tasks require the robot to visually learn and understand the object with rich information like dense object descriptors; and (b) sim-to-real transfer in robotics aims to close the gap between simulated and real data. In this paper, we present Sim-to-Real Dense Object Nets (SRDONs), a dense object descriptor that not only understands the object via appropriate representation but also maps simulated and real data to a unified feature space with pixel consistency. We proposed an object-to-object matching method for image pairs from different scenes and different domains. This method helps reduce the effort of training data from real-world by taking advantage of public datasets, such as GraspNet. With sim-to-real object representation consistency, our SRDONs can serve as a building block for a variety of sim-to-real manipulation tasks. We demonstrate in experiments that pre-trained SRDONs significantly improve performances on unseen objects and unseen visual environments for various robotic tasks with zero real-world training.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI