UC-NeRF: Neural Radiance Field for Under-Calibrated multi-view cameras in autonomous driving

要約

マルチカメラ設定はセンシング機能を大幅に拡張するため、自動運転などのさまざまなアプリケーションで広く使用されています。
Neural Radiance Field (NeRF) 技術の急速な発展と屋内と屋外の両方のシーンでの幅広い応用にもかかわらず、NeRF をマルチカメラ システムに適用することは依然として非常に困難です。
これは主に、さまざまなカメラで個別にキャリブレーションされた画像信号処理ユニットに起因する一貫性のないイメージング効果や、相対的なカメラのポーズに影響を与える運転中の機械的振動から生じるシステムエラーなど、マルチカメラセットアップに固有のアンダーキャリブレーションの問題によるものです。
この論文では、校正が不十分なマルチビュー カメラ システムにおける新しいビュー合成に合わせた新しい方法である UC-NeRF を紹介します。
まず、異なる画像領域の色の不一致を修正するためのレイヤーベースの色補正を提案します。
第 2 に、色補正と 3D 回復のために、より視点が多様でありながら色の一貫性のある仮想ビューを生成する仮想ワーピングを提案します。
最後に、時空間的に制約されたポーズの調整は、マルチカメラ システムにおけるより堅牢で正確なポーズ キャリブレーションのために設計されています。
私たちの方法は、マルチカメラセットアップで新しいビュー合成の最先端のパフォーマンスを達成するだけでなく、合成された新しいビューを使用した大規模な屋外シーンでの深度推定を効果的に促進します。

要約(オリジナル)

Multi-camera setups find widespread use across various applications, such as autonomous driving, as they greatly expand sensing capabilities. Despite the fast development of Neural radiance field (NeRF) techniques and their wide applications in both indoor and outdoor scenes, applying NeRF to multi-camera systems remains very challenging. This is primarily due to the inherent under-calibration issues in multi-camera setup, including inconsistent imaging effects stemming from separately calibrated image signal processing units in diverse cameras, and system errors arising from mechanical vibrations during driving that affect relative camera poses. In this paper, we present UC-NeRF, a novel method tailored for novel view synthesis in under-calibrated multi-view camera systems. Firstly, we propose a layer-based color correction to rectify the color inconsistency in different image regions. Second, we propose virtual warping to generate more viewpoint-diverse but color-consistent virtual views for color correction and 3D recovery. Finally, a spatiotemporally constrained pose refinement is designed for more robust and accurate pose calibration in multi-camera systems. Our method not only achieves state-of-the-art performance of novel view synthesis in multi-camera setups, but also effectively facilitates depth estimation in large-scale outdoor scenes with the synthesized novel views.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google