LF-PGVIO: A Visual-Inertial-Odometry Framework for Large Field-of-View Cameras using Points and Geodesic Segments

要約

この論文では、点と測地線セグメントを使用する負の平面を持つ大型視野 (FoV) カメラ用の視覚慣性オドメトリ (VIO) フレームワークである LF-PGVIO を提案します。
有名な話ですが、パノラマ カメラの FoV が負の半平面に達すると、画像を単一のピンホール画像に展開できなくなります。
さらに、従来の直線検出方法を元のパノラマ画像に直接適用すると、パノラマに大きな歪みが生じるため通常は使用できず、文献でもまだ研究が進んでいません。
これらの課題に対処するために、私たちは LF-PGVIO を提案しました。これは、大きな FoV を持つカメラ (負面 FoV を持つカメラであっても) にライン制約を提供し、生の全方位画像から全方位曲線セグメントを直接抽出できます。
パノラマ環状画像、魚眼画像、各種パノラマ画像などの歪みの大きい画像に適用可能なカメラモデルと組み合わせた全方向曲線セグメント検出（OCSD）手法を提案します。
画像上の各点は球上に投影され、画像内で検出された測地線セグメントと呼ばれる全方向曲線セグメントは、単位球上の測地線セグメントであるという基準を満たさなければなりません。
検出された測地線セグメントは、測地線のラジアンに従って複数の直線セグメントにスライスされ、記述子が個別に抽出され、再結合されて新しい記述子が取得されます。
記述子のマッチングに基づいて、複数のフレーム間の 3D 線分の拘束関係を取得します。
VIO システムでは、ポイント フィーチャ残差、ライン フィーチャ残差、および IMU 残差を使用したスライディング ウィンドウ最適化を使用します。
提案されたシステムを公開データセットで評価したところ、LF-PGVIO が精度と堅牢性の点で最先端の方法よりも優れていることが実証されました。
コードは https://github.com/flysoaryun/LF-PGVIO でオープンソース化されます。

要約(オリジナル)

In this paper, we propose LF-PGVIO, a Visual-Inertial-Odometry (VIO) framework for large Field-of-View (FoV) cameras with a negative plane using points and geodesic segments. Notoriously, when the FoV of a panoramic camera reaches the negative half-plane, the image cannot be unfolded into a single pinhole image. Moreover, if a traditional straight-line detection method is directly applied to the original panoramic image, it cannot be normally used due to the large distortions in the panoramas and remains under-explored in the literature. To address these challenges, we put forward LF-PGVIO, which can provide line constraints for cameras with large FoV, even for cameras with negative-plane FoV, and directly extract omnidirectional curve segments from the raw omnidirectional image. We propose an Omnidirectional Curve Segment Detection (OCSD) method combined with a camera model which is applicable to images with large distortions, such as panoramic annular images, fisheye images, and various panoramic images. Each point on the image is projected onto the sphere, and the detected omnidirectional curve segments in the image named geodesic segments must satisfy the criterion of being a geodesic segment on the unit sphere. The detected geodesic segment is sliced into multiple straight-line segments according to the radian of the geodesic, and descriptors are extracted separately and recombined to obtain new descriptors. Based on descriptor matching, we obtain the constraint relationship of the 3D line segments between multiple frames. In our VIO system, we use sliding window optimization using point feature residuals, line feature residuals, and IMU residuals. Our evaluation of the proposed system on public datasets demonstrates that LF-PGVIO outperforms state-of-the-art methods in terms of accuracy and robustness. Code will be open-sourced at https://github.com/flysoaryun/LF-PGVIO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google