Relative Pose for Nonrigid Multi-Perspective Cameras: The Static Case

要約

潜在的に重複しない視野を持つ多視点カメラは、インテリジェント車両、ドローン、複合現実ヘッドセットなどの多くのアプリケーションにおいて重要な外受容センシングモダリティとなっています。
この作業では、これらのシナリオで行われる基本的な前提の 1 つである、マルチカメラ リグが厳格であるということに挑戦します。
より具体的には、システムに対する重力の影響を考慮しながら、異なる空間方向にある静的な非剛体リグ間の相対姿勢を推定する問題を検討しています。
各カメラと体の中心の間の変形可能な物理的接続は、単純なカンチレバー モデルによって近似され、一般化されたエピポーラ制約に挿入されます。
私たちの結果は、変形モデルの潜在パラメータ、つまり両方のビューの重力ベクトルが観測可能になるという重要な洞察につながります。
2 つの異なるアルゴリズムについて、ノイズ、外れ値、リジッド剛性に基づいたすべての変数の可観測性の簡潔な分析を示します。
1 つ目は視覚のみを使用する代替方法ですが、2 つ目は追加の重力測定を利用します。
結論として、実世界の例で重力を感知する能力を実証し、実際的な意味について説明します。

要約(オリジナル)

Multi-perspective cameras with potentially non-overlapping fields of view have become an important exteroceptive sensing modality in a number of applications such as intelligent vehicles, drones, and mixed reality headsets. In this work, we challenge one of the basic assumptions made in these scenarios, which is that the multi-camera rig is rigid. More specifically, we are considering the problem of estimating the relative pose between a static non-rigid rig in different spatial orientations while taking into account the effect of gravity onto the system. The deformable physical connections between each camera and the body center are approximated by a simple cantilever model, and inserted into the generalized epipolar constraint. Our results lead us to the important insight that the latent parameters of the deformation model, meaning the gravity vector in both views, become observable. We present a concise analysis of the observability of all variables based on noise, outliers, and rig rigidity for two different algorithms. The first one is a vision-only alternative, while the second one makes use of additional gravity measurements. To conclude, we demonstrate the ability to sense gravity in a real-world example, and discuss practical implications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google