Digital Twin Catalog: A Large-Scale Photorealistic 3D Object Digital Twin Dataset

要約

デジタルツインカタログ（DTC）を紹介します。これは、新しい大規模なフォトリアリックな3Dオブジェクトデジタルツインデータセットです。
3Dオブジェクトのデジタルツインは、物理的なオブジェクトの非常に詳細で事実上区別できない表現であり、その形状、外観、物理的特性、およびその他の属性を正確にキャプチャします。
神経ベースの3D再構成と逆レンダリングの最近の進歩により、3Dオブジェクトの再構築の品質が大幅に向上しました。
これらの進歩にもかかわらず、さまざまな再構築方法のパフォーマンスを定量的に評価および比較することができ、トレーニングや微調整を通じて再構築品質を改善することができる、大規模でデジタルツインの品質の現実世界データセットとベンチマークが不足しています。
さらに、3Dデジタルツイン作成を民主化するには、作成技術をARメガネなどの次世代のエゴセントリックコンピューティングプラットフォームと統合することが不可欠です。
現在、エゴセントリックのキャプチャされた画像を使用して3Dオブジェクトの再構成を評価するためのデータセットはありません。
これらのギャップに対処するために、DTCデータセットは、DSLRカメラとエゴセントリックARメガネを使用して、さまざまな照明条件下でキャプチャされた画像シーケンスとともに、2,000のスキャンされたデジタルツイン品質の3Dオブジェクトを備えています。
このデータセットは、3Dデジタルツイン作成タスクの最初の包括的な実世界評価ベンチマークを確立し、既存の再構築方法を比較および改善するための堅牢な基盤を提供します。
DTCデータセットは既にhttps://www.projectaria.com/datasets/dtc/でリリースされており、ベースライン評価もオープンソースにします。

要約(オリジナル)

We introduce Digital Twin Catalog (DTC), a new large-scale photorealistic 3D object digital twin dataset. A digital twin of a 3D object is a highly detailed, virtually indistinguishable representation of a physical object, accurately capturing its shape, appearance, physical properties, and other attributes. Recent advances in neural-based 3D reconstruction and inverse rendering have significantly improved the quality of 3D object reconstruction. Despite these advancements, there remains a lack of a large-scale, digital twin quality real-world dataset and benchmark that can quantitatively assess and compare the performance of different reconstruction methods, as well as improve reconstruction quality through training or fine-tuning. Moreover, to democratize 3D digital twin creation, it is essential to integrate creation techniques with next-generation egocentric computing platforms, such as AR glasses. Currently, there is no dataset available to evaluate 3D object reconstruction using egocentric captured images. To address these gaps, the DTC dataset features 2,000 scanned digital twin-quality 3D objects, along with image sequences captured under different lighting conditions using DSLR cameras and egocentric AR glasses. This dataset establishes the first comprehensive real-world evaluation benchmark for 3D digital twin creation tasks, offering a robust foundation for comparing and improving existing reconstruction methods. The DTC dataset is already released at https://www.projectaria.com/datasets/dtc/ and we will also make the baseline evaluations open-source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google