Leveraging Automatic CAD Annotations for Supervised Learning in 3D Scene Understanding

要約

多くのアプリケーションでは、高レベルの3Dシーンの理解が不可欠です。
ただし、正確な3Dアノテーションを生成するという課題により、深い学習モデルの開発が困難になります。
合成CADモデルの自動検索における最近の進歩に目を向け、そのような方法によって生成されたデータは、監督された深い学習モデルをトレーニングするための高品質の地上真理として使用できることを示します。
より正確には、9DポーズとCADモデルを使用して、Scannetシーンのオブジェクトを自動的に注釈するために以前に使用されていたパイプラインと同様のパイプラインを使用します。
今回は、以前はそのような注釈が不足していた最近のScannet ++ V1データセットに適用しました。
私たちの調査結果は、これらの自動化された注釈で深い学習モデルをトレーニングすることが可能であることが可能であることを示していますが、結果のモデルは手動で注釈付きのデータでトレーニングされたモデルよりも優れています。
これは、ポイントクラウドの完了とシングルビューCADモデルの取得とアラインメントの2つの異なるタスクで検証します。
私たちの結果は、自動3Dアノテーションの可能性を強調して、モデルのパフォーマンスを向上させながら、注釈コストを大幅に削減します。
3Dシーンの理解における将来の研究をサポートするために、訓練されたモデルとともに、scannotate ++と呼ばれる注釈をリリースします。

要約(オリジナル)

High-level 3D scene understanding is essential in many applications. However, the challenges of generating accurate 3D annotations make development of deep learning models difficult. We turn to recent advancements in automatic retrieval of synthetic CAD models, and show that data generated by such methods can be used as high-quality ground truth for training supervised deep learning models. More exactly, we employ a pipeline akin to the one previously used to automatically annotate objects in ScanNet scenes with their 9D poses and CAD models. This time, we apply it to the recent ScanNet++ v1 dataset, which previously lacked such annotations. Our findings demonstrate that it is not only possible to train deep learning models on these automatically-obtained annotations but that the resulting models outperform those trained on manually annotated data. We validate this on two distinct tasks: point cloud completion and single-view CAD model retrieval and alignment. Our results underscore the potential of automatic 3D annotations to enhance model performance while significantly reducing annotation costs. To support future research in 3D scene understanding, we will release our annotations, which we call SCANnotate++, along with our trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google