Optimal and Robust Category-level Perception: Object Pose and Shape Estimation from 2D and 3D Semantic Keypoints

要約

カテゴリレベルの知覚問題を考えます。この問題では、特定のカテゴリのオブジェクト (車など) を描写する 2D または 3D センサー データが与えられ、クラス内の変動にもかかわらずオブジェクトの 3D 姿勢と形状を再構築する必要があります (
つまり、車種が異なれば形状も異なります）。
私たちはアクティブな形状モデルを検討します。このモデルでは、オブジェクト カテゴリの場合、そのカテゴリのオブジェクトを記述する潜在的な CAD モデルのライブラリが与えられ、非凸を介して 2D または 3D キーポイントからポーズと形状を推定する標準的な定式化を採用します。
最適化。
私たちの最初の貢献は、それぞれ 3D キーポイントと 2D キーポイントを使用したポーズと形状の推定に最適であることが証明された最初のソルバーである PACE3D* と PACE2D* を開発することです。
どちらのソルバーも、厳密な (つまり、正確な) 半定値緩和の設計に依存しています。
私たちの 2 番目の貢献は、PACE3D# および PACE2D# という名前の両方のソルバーの異常値に強いバージョンを開発することです。
この目標に向けて、我々は、外れ値を除去するための一般的なグラフ理論フレームワークである ROBIN を提案します。これは、測定値の互換性をモデル化するために互換性ハイパーグラフを使用します。
カテゴリレベルの知覚問題では、これらのハイパーグラフがキーポイントの曲がり次数 (2D の場合) またはその凸包 (3D の場合) から構築でき、多くの外れ値が最大ハイパークリーク計算によって除外できることを示します。
最後の貢献は広範な実験評価です。
シミュレートされたデータセットと PASCAL3D+ データセットでのアブレーション研究を提供することに加えて、私たちのソルバーをディープキーポイント検出器と組み合わせて、PACE3D# が ApolloScape データセットでの車両姿勢推定の最先端技術よりも向上しており、そのランタイムに互換性があることを示します。
実用的なアプリケーションを備えています。
コードは https://github.com/MIT-SPARK/PACE でリリースされます。

要約(オリジナル)

We consider a category-level perception problem, where one is given 2D or 3D sensor data picturing an object of a given category (e.g., a car), and has to reconstruct the 3D pose and shape of the object despite intra-class variability (i.e., different car models have different shapes). We consider an active shape model, where -for an object category- we are given a library of potential CAD models describing objects in that category, and we adopt a standard formulation where pose and shape are estimated from 2D or 3D keypoints via non-convex optimization. Our first contribution is to develop PACE3D* and PACE2D*, the first certifiably optimal solvers for pose and shape estimation using 3D and 2D keypoints, respectively. Both solvers rely on the design of tight (i.e., exact) semidefinite relaxations. Our second contribution is to develop outlier-robust versions of both solvers, named PACE3D# and PACE2D#. Towards this goal, we propose ROBIN, a general graph-theoretic framework to prune outliers, which uses compatibility hypergraphs to model measurements’ compatibility. We show that in category-level perception problems these hypergraphs can be built from the winding orders of the keypoints (in 2D) or their convex hulls (in 3D), and many outliers can be filtered out via maximum hyperclique computation. The last contribution is an extensive experimental evaluation. Besides providing an ablation study on simulated datasets and on the PASCAL3D+ dataset, we combine our solver with a deep keypoint detector, and show that PACE3D# improves over the state of the art in vehicle pose estimation in the ApolloScape datasets, and its runtime is compatible with practical applications. We release our code at https://github.com/MIT-SPARK/PACE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google