GBOT: Graph-Based 3D Object Tracking for Augmented Reality-Assisted Assembly Guidance

要約

組み立て可能な部品のガイドは、拡張現実の有望な分野です。
拡張現実の組み立てガイダンスでは、ターゲット オブジェクトの 6D オブジェクト ポーズをリアルタイムで必要とします。
特に、タイムクリティカルな医療または産業環境では、ターゲットオブジェクトの部品の上または隣に重ねて表示される指示を視覚化するために、個々の部品をマーカーなしで継続的に追跡することが不可欠です。
この点に関して、ユーザーの手や他の物体による遮蔽や、さまざまな組み立て状態の複雑さにより、堅牢でリアルタイムのマーカーレス複数物体追跡が複雑になります。
この問題に対処するために、新しいグラフベースのシングルビュー RGB-D 追跡アプローチであるグラフベース オブジェクト トラッキング (GBOT) を紹介します。
リアルタイムのマーカーレス マルチオブジェクト トラッキングは 6D ポーズ推定によって初期化され、グラフベースのアセンブリのポーズを更新します。
さまざまなアセンブリ状態の追跡は、新しいマルチステート アセンブリ グラフによって実現されます。
個々のアセンブリ部品の相対姿勢を利用して、マルチステートアセンブリグラフを更新します。
このグラフ内の個々のオブジェクトをリンクすると、組み立てプロセス中により堅牢なオブジェクト追跡が可能になります。
評価のために、将来の作業のベンチマークとして、公開されている 3D 印刷可能なアセンブリ アセットの合成データセットを導入します。
合成データでの定量的実験と実際のテストデータでのさらなる定性的研究により、GBOT がコンテキストを認識した拡張現実アセンブリ ガイダンスの実現に向けた既存の研究よりも優れたパフォーマンスを発揮できることが示されています。
データセットとコードは一般公開されます。

要約(オリジナル)

Guidance for assemblable parts is a promising field for augmented reality. Augmented reality assembly guidance requires 6D object poses of target objects in real time. Especially in time-critical medical or industrial settings, continuous and markerless tracking of individual parts is essential to visualize instructions superimposed on or next to the target object parts. In this regard, occlusions by the user’s hand or other objects and the complexity of different assembly states complicate robust and real-time markerless multi-object tracking. To address this problem, we present Graph-based Object Tracking (GBOT), a novel graph-based single-view RGB-D tracking approach. The real-time markerless multi-object tracking is initialized via 6D pose estimation and updates the graph-based assembly poses. The tracking through various assembly states is achieved by our novel multi-state assembly graph. We update the multi-state assembly graph by utilizing the relative poses of the individual assembly parts. Linking the individual objects in this graph enables more robust object tracking during the assembly process. For evaluation, we introduce a synthetic dataset of publicly available and 3D printable assembly assets as a benchmark for future work. Quantitative experiments in synthetic data and further qualitative study in real test data show that GBOT can outperform existing work towards enabling context-aware augmented reality assembly guidance. Dataset and code will be made publically available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google