Learning Local Pattern Modularization for Point Cloud Reconstruction from Unseen Classes

要約

単一の 2D 画像から目に見えないクラスの 3D 点群を再構成することは困難です。
オブジェクト中心の座標系の代わりに、現在の方法では、目に見えるクラスで学習されたグローバル事前分布を一般化し、ビューア中心の座標系で目に見えないクラスから 3D 形状を再構成します。
しかし、再構成の精度と解釈可能性については、依然として改善が望まれています。
この問題を解決するために、目に見えないクラスの 3D 形状を再構成するための局所パターンのモジュール化を学習することを導入します。これにより、優れた汎化能力と高い再構成精度の両方が実現されます。
私たちの洞察は、クラスに依存せず、オブジェクト中心の座標系で簡単に一般化できる局所事前分布を学習することです。
具体的には、ローカル事前確率は、認識されたクラスでのローカル パターンのモジュール化を学習およびカスタマイズするプロセスを通じて学習されます。
このプロセスでは、まず局所領域のパターンのセットを学習します。これは、さまざまなクラスにわたる形状上の任意の領域を表すオブジェクト中心座標系の基礎です。
次に、学習した局所パターンを使用して、最初に再構成された形状上の各領域をモジュール化します。
それに基づいて、入力画像を使用して再構成をより詳細に調整することで、局所パターンのモジュール化をカスタマイズします。
私たちの方法では、多数のパターンやセグメンテーションの監視やカメラのポーズなどの追加情報を必要とせずに、物体中心座標系の目に見えないクラスから高忠実度の点群を再構築できます。
広く使用されているベンチマークでの実験結果は、私たちの方法が、目に見えないクラスの形状に対して最先端の再構成精度を達成していることを示しています。
コードは https://github.com/chenchao15/Unseen で入手できます。

要約(オリジナル)

It is challenging to reconstruct 3D point clouds in unseen classes from single 2D images. Instead of object-centered coordinate system, current methods generalized global priors learned in seen classes to reconstruct 3D shapes from unseen classes in viewer-centered coordinate system. However, the reconstruction accuracy and interpretability are still eager to get improved. To resolve this issue, we introduce to learn local pattern modularization for reconstructing 3D shapes in unseen classes, which achieves both good generalization ability and high reconstruction accuracy. Our insight is to learn a local prior which is class-agnostic and easy to generalize in object-centered coordinate system. Specifically, the local prior is learned via a process of learning and customizing local pattern modularization in seen classes. During this process, we first learn a set of patterns in local regions, which is the basis in the object-centered coordinate system to represent an arbitrary region on shapes across different classes. Then, we modularize each region on an initially reconstructed shape using the learned local patterns. Based on that, we customize the local pattern modularization using the input image by refining the reconstruction with more details. Our method enables to reconstruct high fidelity point clouds from unseen classes in object-centered coordinate system without requiring a large number of patterns or any additional information, such as segmentation supervision or camera poses. Our experimental results under widely used benchmarks show that our method achieves the state-of-the-art reconstruction accuracy for shapes from unseen classes. The code is available at https://github.com/chenchao15/Unseen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google