FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects

要約

ロボットが目に見えないクラスのオブジェクトを明確に表現できるように一般化する、3D 多関節オブジェクトを認識して操作するための新しい方法を探ります。
さまざまな多関節オブジェクトのパーツの潜在的な動きを予測することを学習するビジョンベースのシステムを提案し、オブジェクトを多関節にするシステムのダウンストリーム モーション プランニングを導きます。
オブジェクトの動きを予測するために、ニューラル ネットワークをトレーニングして、アーティキュレーション下のポイント クラウド内のポイントのポイントごとの動きの方向を表す密なベクトル フィールドを出力します。
次に、このベクトル フィールドに基づいて分析モーション プランナーを展開し、最大のアーティキュレーションを生み出すポリシーを実現します。
ビジョン システムを完全にシミュレーションでトレーニングし、シミュレーションと現実世界の両方で目に見えないオブジェクト インスタンスと新しいカテゴリに一般化するシステムの機能を実証し、微調整なしで Sawyer ロボットにポリシーを展開します。
結果は、シミュレートされた実験と実際の実験の両方で、当社のシステムが最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

We explore a novel method to perceive and manipulate 3D articulated objects that generalizes to enable a robot to articulate unseen classes of objects. We propose a vision-based system that learns to predict the potential motions of the parts of a variety of articulated objects to guide downstream motion planning of the system to articulate the objects. To predict the object motions, we train a neural network to output a dense vector field representing the point-wise motion direction of the points in the point cloud under articulation. We then deploy an analytical motion planner based on this vector field to achieve a policy that yields maximum articulation. We train the vision system entirely in simulation, and we demonstrate the capability of our system to generalize to unseen object instances and novel categories in both simulation and the real world, deploying our policy on a Sawyer robot with no finetuning. Results show that our system achieves state-of-the-art performance in both simulated and real-world experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google