SynTable: A Synthetic Data Generation Pipeline for Unseen Object Amodal Instance Segmentation of Cluttered Tabletop Scenes

要約

この作業では、NVIDIAのISAAC SIMレプリケーターコンポーザーを使用して構築された統合された柔軟性のあるPythonベースのデータセットジェネレーターであるSyntableを提示し、乱雑な卓上シーンの目に見えないオブジェクトアモダルインスタンスセグメンテーションのための高品質の合成データセットを生成します。
データセット生成ツールは、オブジェクトメッシュ、素材、テクスチャ、照明、背景を含む複雑な3Dシーンをレンダリングできます。
モーダルおよびアモーダルインスタンスセグメンテーションマスク、オブジェクトアモダルRGBAインスタンス、閉塞マスク、深度マップ、境界ボックス、および材料特性などのメタデータを自動的に生成して、ユーザーの要件に応じてシーンに注釈を付けることができます。
当社のツールは、データセットの品質と精度を確保しながら、データセット生成プロセスで手動ラベル付けの必要性を排除します。
この作業では、設計目標、フレームワークアーキテクチャ、およびツールのパフォーマンスについて説明します。
SynTableを使用して生成されたサンプルデータセットの使用を実証します。
当社の最先端の結果は、OSD-Amodalデータセットで評価された場合、SIMからリアルへの転送のパフォーマンスが大幅に改善されたことを示しています。
このツールは、ディープラーニングと合成データ生成の研究を進めるためのオープンソースの使いやすい光線上のデータセットジェネレーターとして提供しています。
ソースコード、デモビデオ、およびサンプルデータセットへのリンクは、補足資料に記載されています。

要約(オリジナル)

In this work, we present SynTable, a unified and flexible Python-based dataset generator built using NVIDIA’s Isaac Sim Replicator Composer for generating high-quality synthetic datasets for unseen object amodal instance segmentation of cluttered tabletop scenes. Our dataset generation tool can render complex 3D scenes containing object meshes, materials, textures, lighting, and backgrounds. Metadata, such as modal and amodal instance segmentation masks, object amodal RGBA instances, occlusion masks, depth maps, bounding boxes, and material properties can be automatically generated to annotate the scene according to the users’ requirements. Our tool eliminates the need for manual labeling in the dataset generation process while ensuring the quality and accuracy of the dataset. In this work, we discuss our design goals, framework architecture, and the performance of our tool. We demonstrate the use of a sample dataset generated using SynTable for training a state-of-the-art model, UOAIS-Net. Our state-of-the-art results show significantly improved performance in Sim-to-Real transfer when evaluated on the OSD-Amodal dataset. We offer this tool as an open-source, easy-to-use, photorealistic dataset generator for advancing research in deep learning and synthetic data generation. The links to our source code, demonstration video, and sample dataset can be found in the supplementary materials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google