OmniColor: A Global Camera Pose Optimization Approach of LiDAR-360Camera Fusion for Colorizing Point Clouds

要約

カラー点群は、シンプルで効率的な 3D 表現として、ロボット ナビゲーションやシーンの再構成など、さまざまな分野で多くの利点があります。
この表現は現在、カメラと LiDAR に依存する 3D 再構成タスクで一般的に使用されています。
ただし、これら 2 種類のセンサーからのデータの融合は、多くの既存のフレームワークでは適切に実行されておらず、主に不正確なカメラの姿勢が原因で満足のいくマッピング結果が得られません。
この論文では、独立した 360 度カメラを使用して点群を色付けするための斬新で効率的なアルゴリズムである OmniColor について説明します。
LiDAR ベースの点群と初期の粗いカメラ ポーズを持つ一連のパノラマ画像が与えられた場合、私たちの目的は、画像を幾何学的再構成にマッピングするためにすべてのフレームのポーズを共同で最適化することです。
私たちのパイプラインは、特徴抽出や照合プロセスを必要としない既製の方法で動作します。
代わりに、LiDAR マップの測光の一貫性を直接最大化することで、最適なポーズを見つけます。
実験では、私たちの方法が全方位画像の深刻な視覚的歪みを克服し、360度カメラの広い視野（FOV）から大きな恩恵を受けて、さまざまなシナリオを正確かつ安定して再構築できることを示しています。
コードは https://github.com/liubonan123/OmniColor/ で公開されます。

要約(オリジナル)

A Colored point cloud, as a simple and efficient 3D representation, has many advantages in various fields, including robotic navigation and scene reconstruction. This representation is now commonly used in 3D reconstruction tasks relying on cameras and LiDARs. However, fusing data from these two types of sensors is poorly performed in many existing frameworks, leading to unsatisfactory mapping results, mainly due to inaccurate camera poses. This paper presents OmniColor, a novel and efficient algorithm to colorize point clouds using an independent 360-degree camera. Given a LiDAR-based point cloud and a sequence of panorama images with initial coarse camera poses, our objective is to jointly optimize the poses of all frames for mapping images onto geometric reconstructions. Our pipeline works in an off-the-shelf manner that does not require any feature extraction or matching process. Instead, we find optimal poses by directly maximizing the photometric consistency of LiDAR maps. In experiments, we show that our method can overcome the severe visual distortion of omnidirectional images and greatly benefit from the wide field of view (FOV) of 360-degree cameras to reconstruct various scenarios with accuracy and stability. The code will be released at https://github.com/liubonan123/OmniColor/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google