HandDiffuse: Generative Controllers for Two-Hand Interactions via Diffusion Models

要約

既存のハンドデータセットはほぼ短距離であり、相互作用のモーション生成の必要性にまだ適合することができない、自己閉鎖と手の自己類似性のために相互作用が弱くなっています。
データ不足を救うために、強力な両手相互作用を持つ時間シーケンスで構成される新しいデータセットであるHandDiffuse12.5Mを提案します。
HandDiffuse12.5Mは、既存の両手データセット間で最大のスケールと最も豊富な相互作用を持っています。
さらに、さまざまなコントローラーを使用して相互作用する手の制御可能なモーション生成のための強力なベースラインメソッドの手ディファーズを提示します。
具体的には、拡散モデルをバックボーンとして適用し、異なるコントローラーの2つのモーション表現を設計します。
アーティファクトを減らすために、動的な相互作用プロセスを明示的に定量化する相互作用損失も提案します。
当社の手フィッシュは、鮮明な両手相互作用、つまり、モーションインボリューションと軌道制御を備えたさまざまなアプリケーションを有効にします。
実験では、この方法がモーション生成における最先端の手法よりも優れていることを示しており、他のデータセットのデータ増強にも貢献できることが示されています。
当社のデータセット、対応するコード、および事前に訓練されたモデルは、両手の相互作用モデリングに向けた将来の研究のためにコミュニティに普及します。

要約(オリジナル)

Existing hands datasets are largely short-range and the interaction is weak due to the self-occlusion and self-similarity of hands, which can not yet fit the need for interacting hands motion generation. To rescue the data scarcity, we propose HandDiffuse12.5M, a novel dataset that consists of temporal sequences with strong two-hand interactions. HandDiffuse12.5M has the largest scale and richest interactions among the existing two-hand datasets. We further present a strong baseline method HandDiffuse for the controllable motion generation of interacting hands using various controllers. Specifically, we apply the diffusion model as the backbone and design two motion representations for different controllers. To reduce artifacts, we also propose Interaction Loss which explicitly quantifies the dynamic interaction process. Our HandDiffuse enables various applications with vivid two-hand interactions, i.e., motion in-betweening and trajectory control. Experiments show that our method outperforms the state-of-the-art techniques in motion generation and can also contribute to data augmentation for other datasets. Our dataset, corresponding codes, and pre-trained models will be disseminated to the community for future research towards two-hand interaction modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google