要約
3D オブジェクトのモデリングにおける最近の進歩は、実際にスキャンされた大規模な 3D データベースがないため、ほとんどが合成データセットに依存しています。
現実世界での 3D 認識、再構築、および生成の開発を促進するために、OmniObject3D を提案します。これは、実際にスキャンされた高品質の大量の 3D オブジェクトを含む大規模なボキャブラリ 3D オブジェクト データセットです。
OmniObject3D にはいくつかの魅力的な特性があります。 1) 大語彙: 190 の毎日のカテゴリで 6,000 のスキャンされたオブジェクトで構成され、一般的な 2D データセット (ImageNet や LVIS など) と共通のクラスを共有し、一般化可能な 3D 表現の追求に役立ちます。
2) 豊富な注釈: 各 3D オブジェクトは 2D センサーと 3D センサーの両方でキャプチャされ、テクスチャ メッシュ、点群、マルチビュー レンダリング画像、および複数の実際にキャプチャされたビデオを提供します。
3) リアルなスキャン: プロフェッショナル スキャナーは、正確な形状とリアルな外観を備えた高品質のオブジェクト スキャンをサポートします。
OmniObject3D が提供する広大な探索空間を使用して、a) 堅牢な 3D 認識、b) 新しいビューの合成、c) 神経表面の再構築、d) 3D オブジェクトの生成の 4 つの評価トラックを慎重に設定しました。
これら 4 つのベンチマークについて広範な研究が行われ、現実的な 3D ビジョンにおける将来の研究の新しい観察、課題、および機会が明らかになりました。
要約(オリジナル)
Recent advances in modeling 3D objects mostly rely on synthetic datasets due to the lack of large-scale realscanned 3D databases. To facilitate the development of 3D perception, reconstruction, and generation in the real world, we propose OmniObject3D, a large vocabulary 3D object dataset with massive high-quality real-scanned 3D objects. OmniObject3D has several appealing properties: 1) Large Vocabulary: It comprises 6,000 scanned objects in 190 daily categories, sharing common classes with popular 2D datasets (e.g., ImageNet and LVIS), benefiting the pursuit of generalizable 3D representations. 2) Rich Annotations: Each 3D object is captured with both 2D and 3D sensors, providing textured meshes, point clouds, multiview rendered images, and multiple real-captured videos. 3) Realistic Scans: The professional scanners support highquality object scans with precise shapes and realistic appearances. With the vast exploration space offered by OmniObject3D, we carefully set up four evaluation tracks: a) robust 3D perception, b) novel-view synthesis, c) neural surface reconstruction, and d) 3D object generation. Extensive studies are performed on these four benchmarks, revealing new observations, challenges, and opportunities for future research in realistic 3D vision.
arxiv情報
| 著者 | Tong Wu,Jiarui Zhang,Xiao Fu,Yuxin Wang,Jiawei Ren,Liang Pan,Wayne Wu,Lei Yang,Jiaqi Wang,Chen Qian,Dahua Lin,Ziwei Liu |
| 発行日 | 2023-01-18 18:14:18+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google