DivaTrack: Diverse Bodies and Motions from Acceleration-Enhanced Three-Point Trackers

要約

全身アバターの存在は、デジタル リアリティにおける没入型の社会的および環境的インタラクションにとって非常に重要です。
ただし、現在のデバイスは、ヘッドセットと 2 つのコントローラー (つまり 3 点トラッカー) から 3 つの 6 自由度 (DOF) ポーズを提供するだけです。
これは非常に制約が少ない問題であるため、これらの入力から全身のポーズを推測することは、特に一般人口が表す体のプロポーションやユースケースの全範囲をサポートする場合には困難です。
この論文では、多様な身体サイズや活動に適用した場合に既存の手法を上回るパフォーマンスを発揮する深層学習フレームワーク DivaTrack を提案します。
慣性測定ユニット (IMU) からの線形加速度を使用してまばらな 3 点入力を強化し、足の接触予測を改善します。
次に、2 段階モデル​​で足の接地と上半身のポーズの予測を使用して、曖昧な下半身のポーズを条件付けします。
それぞれが異なるタイプのモーション用に設計された 2 つの参照フレームで計算された予測をブレンドする方法を学習することで、幅広い構成で推定された全身ポーズをさらに安定させます。
突進、フラフープ、座りなど、3 点追跡のための困難な移動運動を実行する 22 人の被験者をキャプチャした大規模なデータセットで設計の有効性を実証します。
Meta VR ヘッドセットと Xsens IMU を使用したライブ デモで示されているように、私たちのメソッドは、ユーザーがさまざまな動きを実行するときにその動きを正確に追跡しながらリアルタイムで実行されます。

要約(オリジナル)

Full-body avatar presence is crucial for immersive social and environmental interactions in digital reality. However, current devices only provide three six degrees of freedom (DOF) poses from the headset and two controllers (i.e. three-point trackers). Because it is a highly under-constrained problem, inferring full-body pose from these inputs is challenging, especially when supporting the full range of body proportions and use cases represented by the general population. In this paper, we propose a deep learning framework, DivaTrack, which outperforms existing methods when applied to diverse body sizes and activities. We augment the sparse three-point inputs with linear accelerations from Inertial Measurement Units (IMU) to improve foot contact prediction. We then condition the otherwise ambiguous lower-body pose with the predictions of foot contact and upper-body pose in a two-stage model. We further stabilize the inferred full-body pose in a wide range of configurations by learning to blend predictions that are computed in two reference frames, each of which is designed for different types of motions. We demonstrate the effectiveness of our design on a large dataset that captures 22 subjects performing challenging locomotion for three-point tracking, including lunges, hula-hooping, and sitting. As shown in a live demo using the Meta VR headset and Xsens IMUs, our method runs in real-time while accurately tracking a user’s motion when they perform a diverse set of movements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google