PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DOF Object Pose Dataset Generation

要約

3次元ガウススプラッティングに基づく汎用的なデータセットジェネレータである、6自由度物体ポーズデータセット生成のためのPhysically Enhanced Gaussian Splatting Simulation System (PEGASUS)を紹介する。PEGASUSは、3Dガウススプラッティングに基づく汎用的なデータセット生成システムである。PEGASUSは、1つまたは複数のオブジェクトと環境のそれぞれの基礎となるガウススプラッティング点群をマージすることにより、新しいシーンの合成を可能にします。物理エンジンを活用することで、オブジェクトと環境のために抽出されたメッシュ間の相互作用を通じて、シーン内の自然なオブジェクト配置のシミュレーションが可能になります。その結果、さまざまな環境やオブジェクトを組み合わせることで、静的または動的な新しいシーンを大量に作成することができます。様々な視点からシーンをレンダリングすることにより、RGB画像、深度マップ、セマンティックマスク、6DoFオブジェクトポーズなどの多様なデータポイントを抽出することができる。本研究では、PEGASUSによって生成されたデータを用いて学習を行うことで、ポーズ推定ネットワークが合成データから実世界データへの移行に成功することを示す。さらに、日本のカップ麺30品目からなるラーメンデータセットを紹介する。このデータセットには、物体半球とガウススプラッティング再構成の両方から画像を取り込んだ球面スキャンが含まれており、PEGASUSとの互換性がある。

要約(オリジナル)

We introduce Physically Enhanced Gaussian Splatting Simulation System (PEGASUS) for 6DOF object pose dataset generation, a versatile dataset generator based on 3D Gaussian Splatting. Environment and object representations can be easily obtained using commodity cameras to reconstruct with Gaussian Splatting. PEGASUS allows the composition of new scenes by merging the respective underlying Gaussian Splatting point cloud of an environment with one or multiple objects. Leveraging a physics engine enables the simulation of natural object placement within a scene through interaction between meshes extracted for the objects and the environment. Consequently, an extensive amount of new scenes – static or dynamic – can be created by combining different environments and objects. By rendering scenes from various perspectives, diverse data points such as RGB images, depth maps, semantic masks, and 6DoF object poses can be extracted. Our study demonstrates that training on data generated by PEGASUS enables pose estimation networks to successfully transfer from synthetic data to real-world data. Moreover, we introduce the Ramen dataset, comprising 30 Japanese cup noodle items. This dataset includes spherical scans that captures images from both object hemisphere and the Gaussian Splatting reconstruction, making them compatible with PEGASUS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL