Bundle Adjustment in the Eager Mode

要約

バンドル調整 (BA) は、同時位置特定とマッピング (SLAM)、拡張現実 (AR)、写真測量などのさまざまなロボット アプリケーションにおいて重要な技術です。
BA は、カメラのポーズや 3D ランドマークなどのパラメータを最適化して、観測結果と一致させます。
知覚システムにおけるディープラーニングの重要性が高まるにつれ、信頼性とパフォーマンスを向上させるために BA をディープラーニング フレームワークと統合する必要性が高まっています。
ただし、GTSAM、g$^2$o、Ceres などの広く使用されている C++ ベースの BA フレームワークには、PyTorch などの最新の深層学習ライブラリとのネイティブ統合がありません。
この制限は、柔軟性、適応性、デバッグの容易さ、および全体的な実装効率に影響します。
このギャップに対処するために、PyPose とシームレスに統合されたイーガー モード BA フレームワークを導入し、高効率の PyTorch 互換インターフェイスを提供します。
私たちのアプローチには、2 次最適化、リー群およびリー代数演算、線形ソルバー用に設計された GPU 高速化された微分可能なスパース演算が含まれます。
GPU 上の Eager モード BA は、大幅なランタイム効率を実証し、GTSAM、g$^2$o、Ceres と比較して、それぞれ 18.5$\times$、22$\times$、23$\times$ の平均速度向上を達成しました。
。

要約(オリジナル)

Bundle adjustment (BA) is a critical technique in various robotic applications, such as simultaneous localization and mapping (SLAM), augmented reality (AR), and photogrammetry. BA optimizes parameters such as camera poses and 3D landmarks to align them with observations. With the growing importance of deep learning in perception systems, there is an increasing need to integrate BA with deep learning frameworks for enhanced reliability and performance. However, widely-used C++-based BA frameworks, such as GTSAM, g$^2$o, and Ceres, lack native integration with modern deep learning libraries like PyTorch. This limitation affects their flexibility, adaptability, ease of debugging, and overall implementation efficiency. To address this gap, we introduce an eager-mode BA framework seamlessly integrated with PyPose, providing PyTorch-compatible interfaces with high efficiency. Our approach includes GPU-accelerated, differentiable, and sparse operations designed for 2nd-order optimization, Lie group and Lie algebra operations, and linear solvers. Our eager-mode BA on GPU demonstrates substantial runtime efficiency, achieving an average speedup of 18.5$\times$, 22$\times$, and 23$\times$ compared to GTSAM, g$^2$o, and Ceres, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google