Colmap-PCD: An Open-source Tool for Fine Image-to-point cloud Registration

要約

単眼カメラ再構成のための最先端の技術は、主に Structure from Motion (SfM) パイプラインに依存しています。
ただし、このような方法では、重要なスケール情報が欠如した再構築結果が得られることが多く、時間が経つにつれて、画像が蓄積されると避けられないドリフトの問題が発生します。
対照的に、LiDAR スキャンに基づくマッピング方法は、視覚ベースのアプローチには基本的にはない正確な距離測定機能により、大規模な都市景観の再構成で人気があります。
研究者らは、マッピング結果内の正確なスケーリングと色の詳細を追求するために、LiDAR とカメラの同時測定を利用する試みを行ってきました。
ただし、結果は外部キャリブレーションと時刻同期精度の影響を受けます。
この論文では、事前に確立された LiDAR マップを固定制約として利用し、単眼カメラの再構築に存在する固有のスケール課題に効果的に対処する、新しい費用対効果の高い再構築パイプラインを提案します。
私たちの知る限り、私たちの方法は、カメラと LiDAR データの同期キャプチャを必要とせずに点群マップに画像を登録する最初の方法であり、さまざまな関心領域にわたって再構成の詳細レベルを柔軟に管理できるようになります。
この分野でのさらなる研究を促進するために、Colmap アルゴリズムを活用したオープンソース ツールである Colmap-PCD${^{3}}$ をリリースしました。これにより、点群マップへの画像の正確で詳細な位置合わせが可能になります。

要約(オリジナル)

State-of-the-art techniques for monocular camera reconstruction predominantly rely on the Structure from Motion (SfM) pipeline. However, such methods often yield reconstruction outcomes that lack crucial scale information, and over time, accumulation of images leads to inevitable drift issues. In contrast, mapping methods based on LiDAR scans are popular in large-scale urban scene reconstruction due to their precise distance measurements, a capability fundamentally absent in visual-based approaches. Researchers have made attempts to utilize concurrent LiDAR and camera measurements in pursuit of precise scaling and color details within mapping outcomes. However, the outcomes are subject to extrinsic calibration and time synchronization precision. In this paper, we propose a novel cost-effective reconstruction pipeline that utilizes a pre-established LiDAR map as a fixed constraint to effectively address the inherent scale challenges present in monocular camera reconstruction. To our knowledge, our method is the first to register images onto the point cloud map without requiring synchronous capture of camera and LiDAR data, granting us the flexibility to manage reconstruction detail levels across various areas of interest. To facilitate further research in this domain, we have released Colmap-PCD${^{3}}$, an open-source tool leveraging the Colmap algorithm, that enables precise fine-scale registration of images to the point cloud map.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google