Extensible Motion-based Identification of XR Users using Non-Specific Motion Data

要約

本論文では、拡張現実のユーザーを動きから識別するタスクに対して、距離ベースと分類ベースのアプローチの長所を組み合わせる。このために、我々はディープメトリック学習を活用した埋め込みベースのモデルを探求する。VRゲーム「Half-Life：Alyx”で学習し、最新の分類ベースのモデルをベースラインとして複数の実験と分析を行う。その結果、埋め込みベースの手法は、1)わずか数分の登録データを使用して、非特異的な動きから新規ユーザーを識別できること、2)ベースラインアプローチの再トレーニングにはほぼ1日かかるが、数秒以内に新規ユーザーを登録できること、3)わずかな登録データしか利用できない場合、ベースラインアプローチよりも信頼性が高いこと、4)異なるVRデバイスで記録された別のデータセットから新規ユーザーを識別するために使用できることが示された。 全体として、我々のソリューションは、幅広いユーザーモーションに適用可能な、容易に拡張可能なXRユーザー識別システムの基礎となる。また、ディープラーニングモデルをトレーニングするための専門知識、ハードウェア、データを必要とすることなく、XRの実務家が使用できる量産可能なモデルへの道を開くものでもある。

要約(オリジナル)

In this paper, we combine the strengths of distance-based and classification-based approaches for the task of identifying extended reality users by their movements. For this we explore an embedding-based model that leverages deep metric learning. We train the model on a dataset of users playing the VR game “Half-Life: Alyx” and conduct multiple experiments and analyses using a state of the art classification-based model as baseline. The results show that the embedding-based method 1) is able to identify new users from non-specific movements using only a few minutes of enrollment data, 2) can enroll new users within seconds, while retraining the baseline approach takes almost a day, 3) is more reliable than the baseline approach when only little enrollment data is available, 4) can be used to identify new users from another dataset recorded with different VR devices. Altogether, our solution is a foundation for easily extensible XR user identification systems, applicable to a wide range of user motions. It also paves the way for production-ready models that could be used by XR practitioners without the requirements of expertise, hardware, or data for training deep learning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL