Detection and Pose Estimation of flat, Texture-less Industry Objects on HoloLens using synthetic Training

要約

現在の最先端の 6D 姿勢推定は、ますます多くの拡張現実アプリケーションに使用される Microsoft HoloLens (2) や Apple iPad などのエッジ デバイスに展開するには、計算量が多すぎるためです。
AR の品質は、シーン内のジオメトリを検出してオーバーレイする機能に大きく依存します。
私たちは、合成的にトレーニングされたクライアントサーバーベースの拡張現実アプリケーションを提案し、エッジデバイス上のメタリックおよびテクスチャレス産業オブジェクトの最先端のオブジェクト姿勢推定を実証します。
合成データを使用すると、実際の写真なし、つまりまだ製造されていないオブジェクトのトレーニングが可能になります。
AR 支援による並べ替えタスクに関する定性的評価、および両方のレンダリングと HoloLens 2 に記録された現実世界のデータに関する定量的評価により、その現実世界への適用可能性が明らかになります。

要約(オリジナル)

Current state-of-the-art 6d pose estimation is too compute intensive to be deployed on edge devices, such as Microsoft HoloLens (2) or Apple iPad, both used for an increasing number of augmented reality applications. The quality of AR is greatly dependent on its capabilities to detect and overlay geometry within the scene. We propose a synthetically trained client-server-based augmented reality application, demonstrating state-of-the-art object pose estimation of metallic and texture-less industry objects on edge devices. Synthetic data enables training without real photographs, i.e. for yet-to-be-manufactured objects. Our qualitative evaluation on an AR-assisted sorting task, and quantitative evaluation on both renderings, as well as real-world data recorded on HoloLens 2, sheds light on its real-world applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google