MatPredict: a dataset and benchmark for learning material properties of diverse indoor objects

要約

カメラ画像から材料特性を決定することで、屋内環境で複雑なオブジェクトを識別する機能を拡大することができます。これは、消費者ロボットアプリケーションにとって価値があります。
これをサポートするために、レプリカデータセットの高品質の合成オブジェクトをMatSynth Datasetのマテリアルプロパティクラスと組み合わせて、多様な材料プロパティを持つオブジェクトを作成するデータセットであるMATPREDICTを紹介します。
特定の前景オブジェクトの3Dメッシュを選択し、異なる材料特性でレンダリングします。
合計で、\ textBf {14}異なる素材を使用して、一般的に発生するオブジェクトを\ textBf {18}生成します。
これらのオブジェクトの照明とカメラの配置に関して、変動性をどのように提供するかを紹介します。
次に、シーン内のこれらの摂動モデルを使用して視覚画像から材料特性を推測するためのベンチマークを提供し、関連する特定のニューラルネットワークモデルと、異なる画像比較メトリックに基づいてそのパフォーマンスについて説明します。
さまざまな材料との軽い相互作用を正確にシミュレートすることにより、リアリズムを強化することができます。これは、大規模なシミュレーションを通じてモデルを効果的にトレーニングするために重要です。
この研究は、消費者ロボット工学の認識に革命をもたらすことを目的としています。
データセットには\ href {https://huggingface.co/datasets/umtri/matpredict} {here}が提供され、コードは\ href {https://github.com/arpan-kusari/matpredict} {

要約(オリジナル)

Determining material properties from camera images can expand the ability to identify complex objects in indoor environments, which is valuable for consumer robotics applications. To support this, we introduce MatPredict, a dataset that combines the high-quality synthetic objects from Replica dataset with MatSynth dataset’s material properties classes – to create objects with diverse material properties. We select 3D meshes of specific foreground objects and render them with different material properties. In total, we generate \textbf{18} commonly occurring objects with \textbf{14} different materials. We showcase how we provide variability in terms of lighting and camera placement for these objects. Next, we provide a benchmark for inferring material properties from visual images using these perturbed models in the scene, discussing the specific neural network models involved and their performance based on different image comparison metrics. By accurately simulating light interactions with different materials, we can enhance realism, which is crucial for training models effectively through large-scale simulations. This research aims to revolutionize perception in consumer robotics. The dataset is provided \href{https://huggingface.co/datasets/UMTRI/MatPredict}{here} and the code is provided \href{https://github.com/arpan-kusari/MatPredict}{here}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google