DexFlow: A Unified Approach for Dexterous Hand Pose Retargeting and Interaction

要約

手と物体の相互作用モデリングの進歩にもかかわらず、ロボットハンドのための現実的な器用な操作データの生成は依然として課題となっています。リターゲティング手法は精度が低く、手とオブジェクトの相互作用を考慮できないことが多いため、相互貫入のようなアーチファクトが生じます。また、人間の手のプライアがない生成手法では、限定的で不自然なポーズが生成されます。我々は、高精度のリターゲティングのために、複数のソースからの人間の手とオブジェクトのデータを結合するデータ変換パイプラインを提案する。我々のアプローチは、時間的一貫性を確保するために差分損失制約を使用し、手と物体の相互作用を洗練するために接触マップを生成する。実験によれば、我々の手法はポーズ精度、自然さ、多様性を大幅に改善し、手と物体のインタラクションモデリングのためのロバストなソリューションを提供する。

要約(オリジナル)

Despite advances in hand-object interaction modeling, generating realistic dexterous manipulation data for robotic hands remains a challenge. Retargeting methods often suffer from low accuracy and fail to account for hand-object interactions, leading to artifacts like interpenetration. Generative methods, lacking human hand priors, produce limited and unnatural poses. We propose a data transformation pipeline that combines human hand and object data from multiple sources for high-precision retargeting. Our approach uses a differential loss constraint to ensure temporal consistency and generates contact maps to refine hand-object interactions. Experiments show our method significantly improves pose accuracy, naturalness, and diversity, providing a robust solution for hand-object interaction modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL