ROBUSfT: Robust Real-Time Shape-from-Template, a C++ Library

要約

単眼2次元視覚のみを用いて変形する物体の3次元形状を追跡することは、困難な問題である。これは、(i)2次元画像から3次元形状を推定する必要があり、これは著しく制約の少ない問題であり、(ii)解決策のパイプライン全体をリアルタイムで実装する必要があるからである。パイプラインは通常、特徴検出とマッチング、ミスマッチフィルタリング、3次元形状推論、特徴追跡アルゴリズムが必要である。我々は、物体の静止形状、テクスチャマップ、変形則を含むテンプレートに基づく従来のパイプラインであるROBUSfTを提案する。ROBUSfTは、すぐに利用でき、ベースラインが広く、大きな変形に対応でき、30fpsまで高速で、トレーニングが不要で、ビデオフレーム内の部分的なオクルージョンや不連続性に対してロバストである。困難なデータセットにおいて、最先端の手法を凌駕する性能を発揮します。ROBUSfTは一般に公開されているC++ライブラリとして実装されており、その使い方のチュートリアルはhttps://github.com/mrshetab/ROBUSfT で提供されています。

要約(オリジナル)

Tracking the 3D shape of a deforming object using only monocular 2D vision is a challenging problem. This is because one should (i) infer the 3D shape from a 2D image, which is a severely underconstrained problem, and (ii) implement the whole solution pipeline in real-time. The pipeline typically requires feature detection and matching, mismatch filtering, 3D shape inference and feature tracking algorithms. We propose ROBUSfT, a conventional pipeline based on a template containing the object’s rest shape, texturemap and deformation law. ROBUSfT is ready-to-use, wide-baseline, capable of handling large deformations, fast up to 30 fps, free of training, and robust against partial occlusions and discontinuity in video frames. It outperforms the state-of-the-art methods in challenging datasets. ROBUSfT is implemented as a publicly available C++ library and we provide a tutorial on how to use it in https://github.com/mrshetab/ROBUSfT

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL