GenSDF: Two-Stage Learning of Generalizable Signed Distance Functions

要約

我々は、未見でラベル付けされていない点群に対する3次元物体表現を学習するためのニューラル符号付き距離関数（SDF）の汎化能力を調査する。既存の手法は、SDFを少数のオブジェクトクラスに適合させることができ、細かいディテールや高速な推論速度を誇るが、未見の形状にうまく汎化することができない。我々は、ラベル付けされたデータからラベル付けされていないデータに形状プリオールを転送し、未見のオブジェクトカテゴリを再構築する2段階の半教師付きメタ学習アプローチを導入する。第1段階は、ラベル無しデータに対する学習を模擬したエピソード学習スキームを用い、初期形状事前分布をメタ学習する。第2段階では、半教師付き学習により、クラスが不連続なラベル無しデータを導入し、これらの事前分布を多様化させ、汎化する。我々は、合成データと実際に収集された点群の両方で本手法を評価する。実験結果と分析から、我々のアプローチは既存のニューラルSDF法を上回り、100以上の未知のクラスに対してロバストなゼロショット推論が可能であることが検証された。コードは https://github.com/princeton-computational-imaging/gensdf で見ることができます。

要約(オリジナル)

We investigate the generalization capabilities of neural signed distance functions (SDFs) for learning 3D object representations for unseen and unlabeled point clouds. Existing methods can fit SDFs to a handful of object classes and boast fine detail or fast inference speeds, but do not generalize well to unseen shapes. We introduce a two-stage semi-supervised meta-learning approach that transfers shape priors from labeled to unlabeled data to reconstruct unseen object categories. The first stage uses an episodic training scheme to simulate training on unlabeled data and meta-learns initial shape priors. The second stage then introduces unlabeled data with disjoint classes in a semi-supervised scheme to diversify these priors and achieve generalization. We assess our method on both synthetic data and real collected point clouds. Experimental results and analysis validate that our approach outperforms existing neural SDF methods and is capable of robust zero-shot inference on 100+ unseen classes. Code can be found at https://github.com/princeton-computational-imaging/gensdf.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL