3DLatNav: Navigating Generative Latent Spaces for Semantic-Aware 3D Object Manipulation

要約

3D 生成モデルは、最近、点群の形でリアルな 3D オブジェクトを生成することに成功しています。
ただし、ほとんどのモデルは、広範なセマンティック属性ラベルやその他の参照ポイント クラウドなしでは、コンポーネント オブジェクト パーツの形状セマンティクスを操作する制御性を提供しません。
さらに、単純な潜在ベクトル演算または補間を実行する能力を超えて、3D 形状の部分レベルのセマンティクスが対応する生成潜在空間でどのようにエンコードされるかについての理解が不足しています。
この論文では、3DLatNav を提案します。
3Dオブジェクトの制御された部分レベルのセマンティック操作を可能にするために、事前訓練された生成潜在空間をナビゲートするための新しいアプローチ。
まず、3D 形状の潜在表現を使用して、部分レベルの弱教師付き形状セマンティクス識別メカニズムを提案します。
次に、トレーニング中にパーツレベルのラベルが利用できないにもかかわらず、その知識を事前トレーニング済みの 3D オブジェクト生成潜在空間に転送して、絡み合っていない埋め込みを解明し、オブジェクトのコンポーネント パーツのさまざまな形状セマンティクスを線形部分空間の形で表現します。
最後に、これらの特定された部分空間を利用して、提案されたフレームワークを事前トレーニング済みの 3D 生成モデルに適用することで、制御可能な 3D オブジェクト パーツの操作を実現できることを示します。
パーツ レベルの操作の一貫性とローカリゼーションの精度を評価する 2 つの新しい定量的メトリックを使用して、3D オブジェクトのパーツ レベルの形状セマンティクスをエンコードする潜在的な方向を識別する際に、3DLatNav が既存の教師なし潜在的もつれ解消法よりも優れていることを示します。
複数のアブレーション研究と最先端の生成モデルのテストにより、3DLatNav が入力点群に制御された部分レベルのセマンティック操作を実装できる一方で、他の機能とオブジェクトの現実的な性質を維持できることを示します。

要約(オリジナル)

3D generative models have been recently successful in generating realistic 3D objects in the form of point clouds. However, most models do not offer controllability to manipulate the shape semantics of component object parts without extensive semantic attribute labels or other reference point clouds. Moreover, beyond the ability to perform simple latent vector arithmetic or interpolations, there is a lack of understanding of how part-level semantics of 3D shapes are encoded in their corresponding generative latent spaces. In this paper, we propose 3DLatNav; a novel approach to navigating pretrained generative latent spaces to enable controlled part-level semantic manipulation of 3D objects. First, we propose a part-level weakly-supervised shape semantics identification mechanism using latent representations of 3D shapes. Then, we transfer that knowledge to a pretrained 3D object generative latent space to unravel disentangled embeddings to represent different shape semantics of component parts of an object in the form of linear subspaces, despite the unavailability of part-level labels during the training. Finally, we utilize those identified subspaces to show that controllable 3D object part manipulation can be achieved by applying the proposed framework to any pretrained 3D generative model. With two novel quantitative metrics to evaluate the consistency and localization accuracy of part-level manipulations, we show that 3DLatNav outperforms existing unsupervised latent disentanglement methods in identifying latent directions that encode part-level shape semantics of 3D objects. With multiple ablation studies and testing on state-of-the-art generative models, we show that 3DLatNav can implement controlled part-level semantic manipulations on an input point cloud while preserving other features and the realistic nature of the object.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google