Gaze-Vergence-Controlled See-Through Vision in Augmented Reality

要約

拡張現実感（AR）シースルービジョンは、壁を透過して隠蔽されたオブジェクトを見ることができるため、興味深い研究テーマである。既存の研究の多くは、シースルービジョンの視覚効果に焦点を当てており、インタラクションの方法についてはあまり研究されていない。しかし、我々は、空中クリックや発話などの一般的なインタラクションモダリティを用いることは、シースルービジョンを制御するための最適な方法ではない可能性があると主張する。なぜなら、何かを透視したいとき、それは物理的に視線の深さ・輻輳と関係しているため、自然に目で制御されるはずだからである。本論文では、この考えに基づき、ARにおける新しい視線-輻輳制御型（GVC）シースルービジョン技術を提案する。視線深度が必要であるため、2つの赤外線カメラと対応するアルゴリズムで視線追跡モジュールを構築し、Microsoft HoloLens 2に組み込んで視線深度推定を実現する。そして、異なるシナリオに適合するように、シースルービジョンのための2つの異なるGVCモードを提案します。広範な実験結果は、我々の視線深度推定が効率的で正確であることを実証しています。また、従来のインタラクションモダリティと比較することで、我々のGVC技術が効率性の点で優れており、よりユーザに好まれることが示された。最後に、視線制御型シースルービジョンの4つの応用例を紹介する。

要約(オリジナル)

Augmented Reality (AR) see-through vision is an interesting research topic since it enables users to see through a wall and see the occluded objects. Most existing research focuses on the visual effects of see-through vision, while the interaction method is less studied. However, we argue that using common interaction modalities, e.g., midair click and speech, may not be the optimal way to control see-through vision. This is because when we want to see through something, it is physically related to our gaze depth/vergence and thus should be naturally controlled by the eyes. Following this idea, this paper proposes a novel gaze-vergence-controlled (GVC) see-through vision technique in AR. Since gaze depth is needed, we build a gaze tracking module with two infrared cameras and the corresponding algorithm and assemble it into the Microsoft HoloLens 2 to achieve gaze depth estimation. We then propose two different GVC modes for see-through vision to fit different scenarios. Extensive experimental results demonstrate that our gaze depth estimation is efficient and accurate. By comparing with conventional interaction modalities, our GVC techniques are also shown to be superior in terms of efficiency and more preferred by users. Finally, we present four example applications of gaze-vergence-controlled see-through vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL