FlowBot++: Learning Generalized Articulated Objects Manipulation via Articulation Projection

要約

ドアや引き出しなどの多関節物体を理解して操作することは、人間の環境で動作するロボットにとって非常に重要です。
私たちは、他の多関節オブジェクトについて訓練した後、事前のインタラクションなしで新しいオブジェクトを多関節表現することを学習できるシステムを開発したいと考えています。
多関節オブジェクトを操作するためのこれまでのアプローチは、脆弱なモジュール方式か、汎用性に欠けるエンドツーエンド方式のいずれかに依存していました。
この論文では、深層 3D ビジョンベースのロボット システムである FlowBot++ について説明します。これは、点ごとの密な動きと多関節オブジェクトの密な関節パラメータを予測して、下流の操作タスクを支援します。
FlowBot++ は、関節動作と関節パラメータの新しいポイントごとの表現を導入し、これらを組み合わせることで、いずれかの方法を単独で行うよりも正確な推定値を生成します。
PartNet-Mobility データセットのシミュレーション実験は、広範囲のオブジェクトを関節化する際のシステムのパフォーマンスを検証し、実際のオブジェクトの点群と Sawyer ロボットを使った現実世界の実験は、現実世界のシナリオにおけるシステムの一般化可能性と実現可能性を実証します。
。

要約(オリジナル)

Understanding and manipulating articulated objects, such as doors and drawers, is crucial for robots operating in human environments. We wish to develop a system that can learn to articulate novel objects with no prior interaction, after training on other articulated objects. Previous approaches for articulated object manipulation rely on either modular methods which are brittle or end-to-end methods, which lack generalizability. This paper presents FlowBot++, a deep 3D vision-based robotic system that predicts dense per-point motion and dense articulation parameters of articulated objects to assist in downstream manipulation tasks. FlowBot++ introduces a novel per-point representation of the articulated motion and articulation parameters that are combined to produce a more accurate estimate than either method on their own. Simulated experiments on the PartNet-Mobility dataset validate the performance of our system in articulating a wide range of objects, while real-world experiments on real objects’ point clouds and a Sawyer robot demonstrate the generalizability and feasibility of our system in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google