MASSTAR: A Multi-Modal and Large-Scale Scene Dataset with a Versatile Toolchain for Surface Prediction and Completion

要約

表面の予測と完了は、さまざまなアプリケーションで広く研究されています。
最近、サーフェス完成の研究は小さなオブジェクトから複雑で大規模なシーンまで進化しています。
その結果、研究者はアルゴリズムのパフォーマンスを向上させるために、データ量を増やし、レンダリングされた RGB 画像、説明テキスト、深度画像などを含むより多様なデータ モダリティを活用し始めています。
ただし、既存のデータセットには、対応するマルチモーダル情報とともにシーンレベルのモデルの量が不足しているという問題があります。
したがって、データセットをスケーリングし、その中にマルチモーダル情報を効率的に生成する方法が不可欠です。
この研究ギャップを埋めるために、私たちは MASSTAR を提案します。MASSTAR は、サーフェス予測と完了のための汎用性の高いツールチェーンを備えたマルチモーダル大規模シーン データセットです。
私たちは、環境からの生の 3D データを処理するための多用途で効率的なツールチェーンを開発します。
一連のきめの細かいシーン モデルを選別し、対応するマルチモーダル データを生成します。
次に、ツールチェーンを利用して、部分的な実世界データを追加した 1,000 を超えるシーンレベルのモデルで構成されるサンプル データセットを生成します。
MASSTAR を既存のデータセットと比較し、複雑なシナリオから高品質のモデルを効率的に抽出してデータセットを拡張できる機能の優位性を検証します。
さらに、いくつかの代表的なサーフェス補完アルゴリズムが MASSTAR でベンチマークされており、既存のアルゴリズムではシーンレベルの補完をほとんど処理できないことが明らかになりました。
ツールチェーンとデータセットのソースコードを公開します。
詳細については、https://sysu-star.github.io/MASSTAR のプロジェクト ページをご覧ください。

要約(オリジナル)

Surface prediction and completion have been widely studied in various applications. Recently, research in surface completion has evolved from small objects to complex large-scale scenes. As a result, researchers have begun increasing the volume of data and leveraging a greater variety of data modalities including rendered RGB images, descriptive texts, depth images, etc, to enhance algorithm performance. However, existing datasets suffer from a deficiency in the amounts of scene-level models along with the corresponding multi-modal information. Therefore, a method to scale the datasets and generate multi-modal information in them efficiently is essential. To bridge this research gap, we propose MASSTAR: a Multi-modal lArge-scale Scene dataset with a verSatile Toolchain for surfAce pRediction and completion. We develop a versatile and efficient toolchain for processing the raw 3D data from the environments. It screens out a set of fine-grained scene models and generates the corresponding multi-modal data. Utilizing the toolchain, we then generate an example dataset composed of over a thousand scene-level models with partial real-world data added. We compare MASSTAR with the existing datasets, which validates its superiority: the ability to efficiently extract high-quality models from complex scenarios to expand the dataset. Additionally, several representative surface completion algorithms are benchmarked on MASSTAR, which reveals that existing algorithms can hardly deal with scene-level completion. We will release the source code of our toolchain and the dataset. For more details, please see our project page at https://sysu-star.github.io/MASSTAR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google