3D Reconstruction by Looking: Instantaneous Blind Spot Detector for Indoor SLAM through Mixed Reality

要約

屋内 SLAM は、特に再構築タスクにおいてセンサー (LiDAR やカメラなど) の近くに物体がある限られた空間で、シーンのドリフト、二重壁、死角などの問題に悩まされることがよくあります。
データ収集中の点群登録のリアルタイム視覚化は、これらの問題の軽減に役立つ可能性がありますが、スキャンされたデータを実際の物理環境と詳細に比較できないという重大な制限が残ります。
これらの課題により、復元製品の品質が妨げられ、再調査や再スキャンの作業が頻繁に必要になります。
この点に関して、当社は、ユーザーが複合現実 (MR) ヘッドセットを通して見ることでその場で点群の登録を認識できるようにする LiMRSF (LiDAR-MR-RGB センサー フュージョン) システムを開発しました。
このカスタマイズされたフレームワークは、点群メッシュをホログラムとして視覚化し、シースルー グラス上のリアルタイム シーンとシームレスに一致させ、重複中に検出されたエラーを自動的に強調表示します。
このようなホログラフィック要素は、TCP サーバーを介して MR ヘッドセットに送信され、そこで世界座標、つまり物理的な位置に合わせて調整されます。
これにより、ユーザーは局所的な再構成結果を瞬時に確認できるため、死角やエラーを迅速に特定し、現場で迅速な対応を行うことができます。
当社の死角検出器は、LiMRSF システムによる許容できるほど高い忠実度のモニタリングで、F1 スコア 75.76% のエラー検出精度を達成しています (単純化されたメッシュの 5 つの異なるセクションで、最高の SSIM が 0.5619、PSNR が 14.1004、最低の MSE が 0.0389)
ユーザーが LiMRSF デバイスのシースルー メガネを通して視覚化するモデル)。
この方法により、ビルディング インフォメーション モデリング (BIM) に応用できる可能性のある 3D モデルの詳細で高品質なデータセットが確実に作成されますが、これに限定されません。

要約(オリジナル)

Indoor SLAM often suffers from issues such as scene drifting, double walls, and blind spots, particularly in confined spaces with objects close to the sensors (e.g. LiDAR and cameras) in reconstruction tasks. Real-time visualization of point cloud registration during data collection may help mitigate these issues, but a significant limitation remains in the inability to in-depth compare the scanned data with actual physical environments. These challenges obstruct the quality of reconstruction products, frequently necessitating revisit and rescan efforts. For this regard, we developed the LiMRSF (LiDAR-MR-RGB Sensor Fusion) system, allowing users to perceive the in-situ point cloud registration by looking through a Mixed-Reality (MR) headset. This tailored framework visualizes point cloud meshes as holograms, seamlessly matching with the real-time scene on see-through glasses, and automatically highlights errors detected while they overlap. Such holographic elements are transmitted via a TCP server to an MR headset, where it is calibrated to align with the world coordinate, the physical location. This allows users to view the localized reconstruction product instantaneously, enabling them to quickly identify blind spots and errors, and take prompt action on-site. Our blind spot detector achieves an error detection precision with an F1 Score of 75.76% with acceptably high fidelity of monitoring through the LiMRSF system (highest SSIM of 0.5619, PSNR of 14.1004, and lowest MSE of 0.0389 in the five different sections of the simplified mesh model which users visualize through the LiMRSF device see-through glasses). This method ensures the creation of detailed, high-quality datasets for 3D models, with potential applications in Building Information Modeling (BIM) but not limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google