Generate Point Clouds with Multiscale Details from Graph-Represented Structures

要約

ほとんどの構造物表現では細部が欠落しているため、より多くの情報に対する制御性の欠如は、構造ベースの制御可能な点群生成における主要な弱点の1つである。詳細と構造の定義が主観的であることは観察できる。細部は小さなスケールでは構造として扱うことができる。異なるスケールの構造を同時に表現するために、我々はマルチスケール構造グラフ（MSG）と呼ばれるグラフベースの構造表現を提示する。複数のスケールの構造が与えられた場合、異なるスケール、位置、角度において、局所構造の類似パターンを見つけることができる。ある局所構造パターンから学習された知識は、他の類似パターンに伝達される。エンコードと生成のメカニズム、すなわち、マルチスケール構造に基づく点群生成器（MSPCG）を提案し、これは、多様な空間特性を持つ局所パターンから点群生成を同時に学習することができる。提案手法は、MSGを編集することにより、点群のマルチスケール編集をサポートする。局所的な構造から点群を生成し、複数のスケールで同時に学習することで、我々のMSPCGはより優れた汎化能力とスケーラビリティを持つ。ShapeNet上で学習させた本MSPCGは、未見のカテゴリや屋内シーンに対して、与えられた構造から点群を生成することができる。実験結果は、我々の手法がベースライン手法を大幅に上回ることを示している。

要約(オリジナル)

As details are missing in most representations of structures, the lack of controllability to more information is one of the major weaknesses in structure-based controllable point cloud generation. It is observable that definitions of details and structures are subjective. Details can be treated as structures on small scales. To represent structures in different scales at the same time, we present a graph-based representation of structures called the Multiscale Structure Graph (MSG). Given structures in multiple scales, similar patterns of local structures can be found at different scales, positions, and angles. The knowledge learned from a regional structure pattern shall be transferred to other similar patterns. An encoding and generation mechanism, namely the Multiscale Structure-based Point Cloud Generator (MSPCG) is proposed, which can simultaneously learn point cloud generation from local patterns with miscellaneous spatial properties. The proposed method supports multiscale editions on point clouds by editing the MSG. By generating point clouds from local structures and learning simultaneously in multiple scales, our MSPCG has better generalization ability and scalability. Trained on the ShapeNet, our MSPCG can generate point clouds from a given structure for unseen categories and indoor scenes. The experimental results show that our method significantly outperforms baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL