ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots

要約

ロボットの知能を大幅に強化するには、LLM が示す多用途のタスク計画能力と同様に、汎用ロボットが広範囲の操作タスクを上手に実行できるようにする大規模モデルの開発が急務です。
物体、ロボット、操作タスクの多様性は大きな課題をもたらします。
私たちの研究では、操作タスクを接触合成として形式化する、一般的なロボット操作の基礎モデルを開発するための包括的なフレームワークを導入しています。
具体的には、モデルは入力オブジェクトとして、オブジェクトとロボット マニピュレータの点群、オブジェクトの物理的属性、ターゲットの動き、および操作領域マスクを受け取ります。
オブジェクト上の接触点と、ロボットが目的の操作タスクを達成するために関連する接触力または接触後の動作を出力します。
私たちは、シミュレーションと現実世界の両方の設定で広範な実験を実行し、ロープのような 1 次元のオブジェクトから布のような 2 次元のオブジェクト、さらには 3 次元に及ぶ、多関節の剛体、剛体、およびさまざまな次元の変形可能なオブジェクトを操作します。
粘土などの立体物。
私たちのモデルは、平均約 90\% の成功率を達成しています。
補足資料とビデオは、プロジェクト Web サイト (https://manifoundationmodel.github.io/) で入手できます。

要約(オリジナル)

To substantially enhance robot intelligence, there is a pressing need to develop a large model that enables general-purpose robots to proficiently undertake a broad spectrum of manipulation tasks, akin to the versatile task-planning ability exhibited by LLMs. The vast diversity in objects, robots, and manipulation tasks presents huge challenges. Our work introduces a comprehensive framework to develop a foundation model for general robotic manipulation that formalizes a manipulation task as contact synthesis. Specifically, our model takes as input object and robot manipulator point clouds, object physical attributes, target motions, and manipulation region masks. It outputs contact points on the object and associated contact forces or post-contact motions for robots to achieve the desired manipulation task. We perform extensive experiments both in the simulation and real-world settings, manipulating articulated rigid objects, rigid objects, and deformable objects that vary in dimensionality, ranging from one-dimensional objects like ropes to two-dimensional objects like cloth and extending to three-dimensional objects such as plasticine. Our model achieves average success rates of around 90\%. Supplementary materials and videos are available on our project website at https://manifoundationmodel.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google