ForceGrip: Data-Free Curriculum Learning for Realistic Grip Force Control in VR Hand Manipulation

要約

現実的な手操作は、没入型仮想現実（VR）の重要なコンポーネントですが、既存の方法は、接触力や指のトルクなどの重要な物理的属性を省略する運動学的アプローチまたはモーションキャプチャデータセットに依存することがよくあります。
その結果、これらのアプローチは、ユーザーの意図した力レベルを反映するのではなく、タイトでワンサイズに適合するグリップを優先します。
私たちは、ユーザーのグリップ力の意図を忠実に反映して、現実的な手操作の動きを統合する深い学習エージェントであるForceGripを提示します。
事前定義されたモーションデータセットを模倣する代わりに、ForceGripは、生成されたトレーニングシナリオを使用して、オブジェクトの形状、手首の動き、および入力フローをトリガーして、幅広い物理的相互作用でエージェントに挑戦します。
これらの複雑なタスクから効果的に学ぶために、指の位置付け、意図適応、および動的安定化を含む3フェーズカリキュラム学習フレームワークを採用しています。
このプログレッシブ戦略により、安定した手観オブジェクトの接触、ユーザー入力に基づいた適応力制御、動的条件下での堅牢な処理が保証されます。
さらに、近接報酬関数は自然な指の動きを強化し、トレーニングの収束を加速します。
定量的および定性的評価により、最先端の方法と比較して、forcegripの優れた力の制御性と妥当性が明らかになります。
私たちの論文のビデオプレゼンテーションには、https：//youtu.be/lr-yafninjwにアクセスできます。

要約(オリジナル)

Realistic hand manipulation is a key component of immersive virtual reality (VR), yet existing methods often rely on a kinematic approach or motion-capture datasets that omit crucial physical attributes such as contact forces and finger torques. Consequently, these approaches prioritize tight, one-size-fits-all grips rather than reflecting users’ intended force levels. We present ForceGrip, a deep learning agent that synthesizes realistic hand manipulation motions, faithfully reflecting the user’s grip force intention. Instead of mimicking predefined motion datasets, ForceGrip uses generated training scenarios-randomizing object shapes, wrist movements, and trigger input flows-to challenge the agent with a broad spectrum of physical interactions. To effectively learn from these complex tasks, we employ a three-phase curriculum learning framework comprising Finger Positioning, Intention Adaptation, and Dynamic Stabilization. This progressive strategy ensures stable hand-object contact, adaptive force control based on user inputs, and robust handling under dynamic conditions. Additionally, a proximity reward function enhances natural finger motions and accelerates training convergence. Quantitative and qualitative evaluations reveal ForceGrip’s superior force controllability and plausibility compared to state-of-the-art methods. The video presentation of our paper is accessible at https://youtu.be/lR-YAfninJw.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google