Enriching Physical-Virtual Interaction in AR Gaming by Tracking Identical Real Objects

要約

拡張現実（AR）ゲーム、特にヘッドセット用に設計されたゲームは、ハードウェアとソフトウェアの両方の進歩によりますます一般的になっています。
ただし、ARゲームの大部分は依然として事前にスキャンされたシーンまたは静的シーンに依存しており、相互作用メカニズムは多くの場合、コントローラーまたはハンドトラッキングに限定されています。
さらに、ARゲームに同一のオブジェクトの存在は、従来のオブジェクト追跡手法に課題をもたらします。これは、同一のオブジェクトを区別するのに苦労するか、グローバルオブジェクトの移動追跡のために固定カメラの設置を必要とすることがよくあります。
これらの制限に応じて、ARシーンで同一のオブジェクトの追跡に対処するための新しいアプローチを提示して、物理的な相互作用を豊かにします。
この方法は、ARヘッドセットによってキャプチャされた部分的なシーン観測を活用して、このテクノロジーによって提供される視点と空間データを利用しています。
シーン内のオブジェクトのアイデンティティは、整数プログラミングを使用したラベル割り当て問題の解決策によって決定されます。
計算効率を高めるために、ボロノイ図ベースの剪定方法をアプローチに組み込みます。
農場からテーブルへのARゲームでのこのアプローチの実装は、その満足のいくパフォーマンスと堅牢性を示しています。
さらに、ARストーリーテリングとシミュレートされたゲームロボットのアプリケーションを通じて、方法の汎用性と実用性を紹介します。
ビデオデモは、https：//youtu.be/rpgklyukvcqで入手できます。

要約(オリジナル)

Augmented reality (AR) games, particularly those designed for headsets, have become increasingly prevalent with advancements in both hardware and software. However, the majority of AR games still rely on pre-scanned or static scenes, and interaction mechanisms are often limited to controllers or hand-tracking. Additionally, the presence of identical objects in AR games poses challenges for conventional object tracking techniques, which often struggle to differentiate between identical objects or necessitate the installation of fixed cameras for global object movement tracking. In response to these limitations, we present a novel approach to address the tracking of identical objects in an AR scene to enrich physical-virtual interaction. Our method leverages partial scene observations captured by an AR headset, utilizing the perspective and spatial data provided by this technology. Object identities within the scene are determined through the solution of a label assignment problem using integer programming. To enhance computational efficiency, we incorporate a Voronoi diagram-based pruning method into our approach. Our implementation of this approach in a farm-to-table AR game demonstrates its satisfactory performance and robustness. Furthermore, we showcase the versatility and practicality of our method through applications in AR storytelling and a simulated gaming robot. Our video demo is available at: https://youtu.be/rPGkLYuKvCQ.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google