RGBD Objects in the Wild: Scaling Real-World 3D Object Learning from RGB-D Videos

要約

WildRGB-D と呼ばれる、野生でキャプチャされた新しい RGB-D オブジェクト データセットを紹介します。
RGB キャプチャのみを備えた既存のほとんどの現実世界のオブジェクト中心のデータセットとは異なり、深度チャネルの直接キャプチャにより、より優れた 3D アノテーションとより広範なダウンストリーム アプリケーションが可能になります。
WildRGB-D は、iPhone を使用してオブジェクトを 360 度回って撮影した大規模なカテゴリレベルの RGB-D オブジェクト ビデオで構成されています。
これには、46 の一般的なオブジェクト カテゴリにわたる約 8,500 個の記録されたオブジェクトと約 20,000 個の RGB-D ビデオが含まれています。
これらのビデオは、できるだけ多くの現実世界のシナリオをカバーするために、3 つのセットアップを備えたさまざまな雑然とした背景で撮影されています。(i) 1 つのビデオ内の 1 つのオブジェクト。
(ii) 1 つのビデオ内の複数のオブジェクト。
(iii) 1 つのビデオ内の静止した手を持つオブジェクト。
データセットには、オブジェクト マスク、現実世界スケールのカメラのポーズ、RGBD ビデオから再構築された集約点群の注釈が付けられます。
WildRGB-D を使用して、新規ビュー合成、カメラ姿勢推定、オブジェクト 6D 姿勢推定、オブジェクト表面再構成を含む 4 つのタスクのベンチマークを行います。
私たちの実験は、RGB-D オブジェクトの大規模なキャプチャが 3D オブジェクトの学習を進歩させる大きな可能性をもたらすことを示しています。
私たちのプロジェクトページは https://wildrgbd.github.io/ です。

要約(オリジナル)

We introduce a new RGB-D object dataset captured in the wild called WildRGB-D. Unlike most existing real-world object-centric datasets which only come with RGB capturing, the direct capture of the depth channel allows better 3D annotations and broader downstream applications. WildRGB-D comprises large-scale category-level RGB-D object videos, which are taken using an iPhone to go around the objects in 360 degrees. It contains around 8500 recorded objects and nearly 20000 RGB-D videos across 46 common object categories. These videos are taken with diverse cluttered backgrounds with three setups to cover as many real-world scenarios as possible: (i) a single object in one video; (ii) multiple objects in one video; and (iii) an object with a static hand in one video. The dataset is annotated with object masks, real-world scale camera poses, and reconstructed aggregated point clouds from RGBD videos. We benchmark four tasks with WildRGB-D including novel view synthesis, camera pose estimation, object 6d pose estimation, and object surface reconstruction. Our experiments show that the large-scale capture of RGB-D objects provides a large potential to advance 3D object learning. Our project page is https://wildrgbd.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google