SDFEst: Categorical Pose and Shape Estimation of Objects from RGB-D using Signed Distance Fields

要約

世界の豊富な幾何学的理解は、計画や操作などの多くのロボットアプリケーションの重要な要素です。
この論文では、カテゴリを指定してRGB-D画像からオブジェクトのポーズと形状を推定するためのモジュラーパイプラインを紹介します。
私たちの方法の中核は生成形状モデルであり、これを新しい初期化ネットワークと微分可能なレンダラーと統合して、単一または複数のビューから6Dポーズと形状を推定できるようにします。
合成による高速分析の最適化のための効率的な形状表現として、離散化された符号付き距離フィールドの使用を調査します。
当社のモジュラーフレームワークは、マルチビューの最適化と拡張性を可能にします。
合成データと実際のデータの両方に関するいくつかの実験で、最先端の方法に対するアプローチの利点を示します。
https://github.com/roym899/sdfestでアプローチをオープンソース化します。

要約(オリジナル)

Rich geometric understanding of the world is an important component of many robotic applications such as planning and manipulation. In this paper, we present a modular pipeline for pose and shape estimation of objects from RGB-D images given their category. The core of our method is a generative shape model, which we integrate with a novel initialization network and a differentiable renderer to enable 6D pose and shape estimation from a single or multiple views. We investigate the use of discretized signed distance fields as an efficient shape representation for fast analysis-by-synthesis optimization. Our modular framework enables multi-view optimization and extensibility. We demonstrate the benefits of our approach over state-of-the-art methods in several experiments on both synthetic and real data. We open-source our approach at https://github.com/roym899/sdfest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google