Pre-training with 3D Synthetic Data: Learning 3D Point Cloud Instance Segmentation from 3D Synthetic Scenes

要約

近年、研究コミュニティは、さまざまな現実世界のアプリケーションで高い適用性のために3Dポイントクラウドデータの使用の増加を目撃しています。
3Dポイントクラウドにより、このモダリティにより、実際のサイズと空間的理解を考慮することができます。
適用されたフィールドには、ロボット、車両、またはその他の現実世界のシステムの機械的制御が含まれます。
このラインに沿って、これらのアプリケーションにとって特に有望なアプローチとして浮上した3Dポイントクラウドインスタンスセグメンテーションを改善したいと考えています。
ただし、3Dポイントクラウドデータセットの作成には、2D画像データセットと比較して膨大なコストが必要です。
3Dポイントクラウドインスタンスセグメンテーションのモデルをトレーニングするには、カテゴリを割り当てるだけでなく、大規模な3Dスペースの各ポイントに詳細な注釈を提供する必要があります。
一方、3Dドメインでの生成モデルの最近の提案の増加により、生成モデルを使用して3Dポイントクラウドデータを作成する提案が促進されました。
この作業では、3Dポイントクラウドインスタンスセグメンテーションモデルをトレーニングする3D合成データを使用した事前トレーニングを提案します。ポイントクラウドデータで表される3Dシーンの生成モデルに基づいてトレーニングします。
生成されたデータを3Dシーンに挿入するために、Point-Eを使用して3Dポイントクラウドデータを直接生成します。
最近では2025年には、他の正確な3D生成モデルがありますが、Point-Eを初期の3D生成モデルとして使用しても、3D合成データでトレーニング前を効果的にサポートできます。
実験セクションでは、トレーニング前の方法を、3Dポイントクラウドインスタンスセグメンテーションの3D生成モデルの有効性を示していることを示すベースライン方法と比較します。

要約(オリジナル)

In the recent years, the research community has witnessed growing use of 3D point cloud data for the high applicability in various real-world applications. By means of 3D point cloud, this modality enables to consider the actual size and spatial understanding. The applied fields include mechanical control of robots, vehicles, or other real-world systems. Along this line, we would like to improve 3D point cloud instance segmentation which has emerged as a particularly promising approach for these applications. However, the creation of 3D point cloud datasets entails enormous costs compared to 2D image datasets. To train a model of 3D point cloud instance segmentation, it is necessary not only to assign categories but also to provide detailed annotations for each point in the large-scale 3D space. Meanwhile, the increase of recent proposals for generative models in 3D domain has spurred proposals for using a generative model to create 3D point cloud data. In this work, we propose a pre-training with 3D synthetic data to train a 3D point cloud instance segmentation model based on generative model for 3D scenes represented by point cloud data. We directly generate 3D point cloud data with Point-E for inserting a generated data into a 3D scene. More recently in 2025, although there are other accurate 3D generation models, even using the Point-E as an early 3D generative model can effectively support the pre-training with 3D synthetic data. In the experimental section, we compare our pre-training method with baseline methods indicated improved performance, demonstrating the efficacy of 3D generative models for 3D point cloud instance segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google