ManiPose: A Comprehensive Benchmark for Pose-aware Object Manipulation in Robotics

要約

日常のシナリオ、特に非構造化環境におけるロボット操作には、オブジェクトの 6D ポーズに従ってロボットの把握と取り扱いを適応させる姿勢認識オブジェクト操作 (POM) のスキルが必要です。
効果的な操作には、オブジェクトの位置と方向を認識することが重要です。
たとえば、マグカップが横に置かれている場合は、ハンドルではなく縁をつかむ方が効果的です。
その重要性にもかかわらず、操作スキルの学習には姿勢が変化するシミュレーション環境とデータセットが必要であるため、POM スキルの研究は依然として限られています。
このペーパーでは、姿勢を変える操作タスクの研究を進めるために設計された先駆的なベンチマークである ManiPose を紹介します。
ManiPose には以下が含まれます。 1) 単一オブジェクトの 6D ポーズ固有のピック アンド プレイスから乱雑なシーンまで、さらに多関節オブジェクトとのインタラクションを含む POM 機能タスクのシミュレーション環境。
2) 59 カテゴリにわたる 2936 個の実世界でスキャンされた剛体と 100 個の多関節オブジェクトの、幾何学的に一貫した操作指向の 6D ポーズ ラベルを特徴とする包括的なデータセット。
3) POM のベースラインは、LLM (例: ChatGPT) の推論機能を活用して 6D ポーズとタスク固有の要件の間の関係を分析し、強化されたポーズを意識した把握予測と動作計画機能を提供します。
私たちのベンチマークは、姿勢推定、姿勢を意識した操作、実際のロボットのスキル伝達における顕著な進歩を実証し、POM 研究の新たな標準を確立しました。
最終バージョンのペーパーを含む ManiPose ベンチマークをオープンソース化し、コミュニティにリソースへの参加を呼びかけます。このリソースは、当社の Web サイト (https://sites.google.com/view/manipose) で入手できます。

要約(オリジナル)

Robotic manipulation in everyday scenarios, especially in unstructured environments, requires skills in pose-aware object manipulation (POM), which adapts robots’ grasping and handling according to an object’s 6D pose. Recognizing an object’s position and orientation is crucial for effective manipulation. For example, if a mug is lying on its side, it’s more effective to grasp it by the rim rather than the handle. Despite its importance, research in POM skills remains limited, because learning manipulation skills requires pose-varying simulation environments and datasets. This paper introduces ManiPose, a pioneering benchmark designed to advance the study of pose-varying manipulation tasks. ManiPose encompasses: 1) Simulation environments for POM feature tasks ranging from 6D pose-specific pick-and-place of single objects to cluttered scenes, further including interactions with articulated objects. 2) A comprehensive dataset featuring geometrically consistent and manipulation-oriented 6D pose labels for 2936 real-world scanned rigid objects and 100 articulated objects across 59 categories. 3) A baseline for POM, leveraging the inferencing abilities of LLM (e.g., ChatGPT) to analyze the relationship between 6D pose and task-specific requirements, offers enhanced pose-aware grasp prediction and motion planning capabilities. Our benchmark demonstrates notable advancements in pose estimation, pose-aware manipulation, and real-robot skill transfer, setting new standards for POM research. We will open-source the ManiPose benchmark with the final version paper, inviting the community to engage with our resources, available at our website:https://sites.google.com/view/manipose.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google