Adaptive 3D UI Placement in Mixed Reality Using Deep Reinforcement Learning

要約

混合現実（MR）は、仮想コンテンツを物理的環境の見解と継続的に統合することにより、ユーザーのタスクを支援できます。
ただし、ユーザーを最適にサポートするためにこれらのコンテンツをどこに配置するかは、MRエクスペリエンスの動的な性質のために挑戦的な問題でした。
最適化ベースの方法を調査する以前の作業とは対照的に、ユーザーのポーズと周囲の環境を認識する継続的な3Dコンテンツの配置を補強することがどのように役立つかを調査しています。
最初の調査と予備的な評価を通じて、我々の結果は、外出先でユーザーの報酬を最大化するコンテンツを配置するRLの可能性を示しています。
さらに、MRのパーソナライズされ最適化されたUIおよびコンテンツ配置のRLの力を活用できる研究の将来の方向性を特定します。

要約(オリジナル)

Mixed Reality (MR) could assist users’ tasks by continuously integrating virtual content with their view of the physical environment. However, where and how to place these content to best support the users has been a challenging problem due to the dynamic nature of MR experiences. In contrast to prior work that investigates optimization-based methods, we are exploring how reinforcement learning (RL) could assist with continuous 3D content placement that is aware of users’ poses and their surrounding environments. Through an initial exploration and preliminary evaluation, our results demonstrate the potential of RL to position content that maximizes the reward for users on the go. We further identify future directions for research that could harness the power of RL for personalized and optimized UI and content placement in MR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google