Vision-Based Dexterous Motion Planning by Dynamic Movement Primitives with Human Hand Demonstration

要約

この論文は、器用なピックアンドプレイスタスクを実行するために人間の手のデモンストレーションから情報を取得する能力を促進することを主な目的として、7自由度のロボットマニピュレータのためのビジョンベースのフレームワークを提案します。
既存の作品のほとんどは、方向を考慮せずに位置のデモンストレーションのみに焦点を当てています。
この論文では、単一の深度カメラを使用して、MediaPipe を適用して人間の手の 3 次元座標を生成し、手首の軌道、手の向き、掴み動作を含む手の動きを包括的に記録します。
データの前処理中に平均フィルターが適用され、生データが平滑化されます。
このデモンストレーションは、特定の角度で物体を拾い上げ、その経路上の障害物を避けて移動し、その後、傾斜したコンテナ内に物体を置くように設計されています。
ロボット システムは、動的動作プリミティブの実装によって促進される学習機能を実証し、ユーザーのアクションを異なる開始位置と終了位置での軌道に同化させることができます。

要約(オリジナル)

This paper proposes a vision-based framework for a 7-degree-of-freedom robotic manipulator, with the primary objective of facilitating its capacity to acquire information from human hand demonstrations for the execution of dexterous pick-and-place tasks. Most existing works only focus on the position demonstration without considering the orientations. In this paper, by employing a single depth camera, MediaPipe is applied to generate the three-dimensional coordinates of a human hand, thereby comprehensively recording the hand’s motion, encompassing the trajectory of the wrist, orientation of the hand, and the grasp motion. A mean filter is applied during data pre-processing to smooth the raw data. The demonstration is designed to pick up an object at a specific angle, navigate around obstacles in its path and subsequently, deposit it within a sloped container. The robotic system demonstrates its learning capabilities, facilitated by the implementation of Dynamic Movement Primitives, enabling the assimilation of user actions into its trajectories with different start and end poi

arxiv情報

提供元, 利用サービス

arxiv.jp, Google