Event-based Photometric Bundle Adjustment

要約

純粋に回転するイベント カメラのバンドル調整 (つまり、カメラのポーズとシーン マップの同時調整) の問題に取り組みます。
第一原理から始めて、問題を古典的な非線形最小二乗最適化として定式化します。
測光エラーは、カメラの回転で直接イベント生成モデルを使用し、イベントをトリガーする半密シーンの明るさを使用して定義されます。
イベント データのスパース性を利用して、関連する非常に多くの変数を処理する扱いやすいレーベンバーグ マルカート ソルバーを設計します。
私たちの知る限り、イベントベースのフォトメトリック バンドル調整 (EPBA) と呼ばれる私たちの方法は、輝度マップに直接作用し、イベント データの時空間特性を利用する初のイベントのみのフォトメトリック バンドル調整方法です。
イベントを画像のような表現に変換する必要はありません。
合成データセットと現実世界のデータセットの両方に対する包括的な実験により、測光誤差を (最大 90% 削減) 低減する EPBA の有効性が実証され、比類のない品質の結果が得られます。
洗練されたマップは、従来の最先端の回転のみの推定方法では隠されていた詳細を明らかにします。
最新の高解像度イベント カメラでの実験では、さまざまなシナリオ (マップの初期化なし、複数の解像度、および IMU 推測航法や以前のイベントベースの回転推定方法などの他の方法との組み合わせ) でのパノラマ イメージングへの EPBA の適用可能性が示されています。
。
ソースコードを公開します。
https://github.com/tub-rip/epba

要約(オリジナル)

We tackle the problem of bundle adjustment (i.e., simultaneous refinement of camera poses and scene map) for a purely rotating event camera. Starting from first principles, we formulate the problem as a classical non-linear least squares optimization. The photometric error is defined using the event generation model directly in the camera rotations and the semi-dense scene brightness that triggers the events. We leverage the sparsity of event data to design a tractable Levenberg-Marquardt solver that handles the very large number of variables involved. To the best of our knowledge, our method, which we call Event-based Photometric Bundle Adjustment (EPBA), is the first event-only photometric bundle adjustment method that works on the brightness map directly and exploits the space-time characteristics of event data, without having to convert events into image-like representations. Comprehensive experiments on both synthetic and real-world datasets demonstrate EPBA’s effectiveness in decreasing the photometric error (by up to 90%), yielding results of unparalleled quality. The refined maps reveal details that were hidden using prior state-of-the-art rotation-only estimation methods. The experiments on modern high-resolution event cameras show the applicability of EPBA to panoramic imaging in various scenarios (without map initialization, at multiple resolutions, and in combination with other methods, such as IMU dead reckoning or previous event-based rotation estimation methods). We make the source code publicly available. https://github.com/tub-rip/epba

arxiv情報

提供元, 利用サービス

arxiv.jp, Google