GeoCalib: Learning Single-image Calibration with Geometric Optimization

要約

単一の画像から視覚的な手がかりを利用して、焦点距離や重力方向などのカメラの固有および外部パラメータを推定することができます。
この単一画像キャリブレーションは、画像編集や 3D マッピングなどのさまざまな下流アプリケーションに利益をもたらします。
この問題に対する現在のアプローチは、線と消失点を含む古典的な幾何学、またはエンドツーエンドでトレーニングされたディープ ニューラル ネットワークのいずれかに基づいています。
学習されたアプローチはより堅牢ですが、新しい環境に一般化するのが難しく、従来のアプローチよりも精度が低くなります。
私たちは、それらには 3D ジオメトリが提供する制約が欠けていると仮説を立てます。
この研究では、最適化プロセスを通じて 3D ジオメトリの普遍的なルールを活用するディープ ニューラル ネットワークである GeoCalib を紹介します。
GeoCalib は、カメラ パラメーターを推定するためにエンドツーエンドでトレーニングされ、データから有用な視覚的手がかりを見つける方法を学習します。
さまざまなベンチマークの実験により、GeoCalib は既存の古典的なアプローチや学習されたアプローチよりも堅牢で正確であることが示されています。
内部最適化により不確実性が推定されるため、障害ケースにフラグを立て、視覚的なローカリゼーションなどの下流アプリケーションに利益をもたらします。
コードとトレーニングされたモデルは、https://github.com/cvg/GeoCalib で公開されています。

要約(オリジナル)

From a single image, visual cues can help deduce intrinsic and extrinsic camera parameters like the focal length and the gravity direction. This single-image calibration can benefit various downstream applications like image editing and 3D mapping. Current approaches to this problem are based on either classical geometry with lines and vanishing points or on deep neural networks trained end-to-end. The learned approaches are more robust but struggle to generalize to new environments and are less accurate than their classical counterparts. We hypothesize that they lack the constraints that 3D geometry provides. In this work, we introduce GeoCalib, a deep neural network that leverages universal rules of 3D geometry through an optimization process. GeoCalib is trained end-to-end to estimate camera parameters and learns to find useful visual cues from the data. Experiments on various benchmarks show that GeoCalib is more robust and more accurate than existing classical and learned approaches. Its internal optimization estimates uncertainties, which help flag failure cases and benefit downstream applications like visual localization. The code and trained models are publicly available at https://github.com/cvg/GeoCalib.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google