A Multi-body Tracking Framework — From Rigid Objects to Kinematic Structures

要約

キネマティック構造は、現実の世界では非常に一般的です。
それらは、単純な多関節オブジェクトから複雑な機械システムまでさまざまです。
ただし、関連性があるにもかかわらず、ほとんどのモデルベースの 3D 追跡方法では、剛体のみが考慮されます。
この制限を克服するために、既存の 6DoF アルゴリズムを運動学的構造に拡張できる柔軟なフレームワークを提案します。
私たちのアプローチは、オブジェクト追跡で広く使用されているニュートンのような最適化手法を採用する方法に焦点を当てています。
フレームワークは、ツリー状構造と閉じた運動学的構造の両方を考慮し、ジョイントと拘束の柔軟な構成を可能にします。
個々の剛体から多体系に方程式を射影するために、ヤコビアンが使用されます。
閉じたキネマティック チェーンでは、ラグランジュ乗数を特徴とする新しい定式化が開発されています。
詳細な数学的証明では、制約定式化が正確な運動学的解につながり、1 回の反復で収束することを示します。
提案されたフレームワークに基づいて、最先端の剛体追跡アルゴリズムである ICG を多体追跡に拡張します。
評価のために、多数のシーケンスとさまざまなロボットを特徴とする非常に現実的な合成データセットを作成します。
このデータセットに基づいて、開発したフレームワークとマルチボディトラッカーの優れたパフォーマンスを実証するさまざまな実験を行います。

要約(オリジナル)

Kinematic structures are very common in the real world. They range from simple articulated objects to complex mechanical systems. However, despite their relevance, most model-based 3D tracking methods only consider rigid objects. To overcome this limitation, we propose a flexible framework that allows the extension of existing 6DoF algorithms to kinematic structures. Our approach focuses on methods that employ Newton-like optimization techniques, which are widely used in object tracking. The framework considers both tree-like and closed kinematic structures and allows a flexible configuration of joints and constraints. To project equations from individual rigid bodies to a multi-body system, Jacobians are used. For closed kinematic chains, a novel formulation that features Lagrange multipliers is developed. In a detailed mathematical proof, we show that our constraint formulation leads to an exact kinematic solution and converges in a single iteration. Based on the proposed framework, we extend ICG, which is a state-of-the-art rigid object tracking algorithm, to multi-body tracking. For the evaluation, we create a highly-realistic synthetic dataset that features a large number of sequences and various robots. Based on this dataset, we conduct a wide variety of experiments that demonstrate the excellent performance of the developed framework and our multi-body tracker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google