SynTable: A Synthetic Data Generation Pipeline for Unseen Object Amodal Instance Segmentation of Cluttered Tabletop Scenes

要約

この研究では、NVIDIA の Isaac Sim Replicator Composer を使用して構築された統合された柔軟な Python ベースのデータセット ジェネレーターである SynTable を紹介します。これは、乱雑なテーブルトップ シーンの目に見えないオブジェクトのモーダル インスタンス セグメンテーションのための高品質の合成データセットを生成します。
データセット生成ツールは、オブジェクト メッシュ、マテリアル、テクスチャ、照明、背景を含む複雑な 3D シーンをレンダリングできます。
モーダルおよびアモーダル インスタンス セグメンテーション マスク、オクルージョン マスク、深度マップ、バウンディング ボックス、マテリアル プロパティなどのメタデータを生成して、ユーザーの要件に従ってシーンに自動的に注釈を付けることができます。
私たちのツールを使用すると、データセットの生成プロセスで手動でラベルを付ける必要がなくなり、データセットの品質と精度が保証されます。
この作業では、設計目標、フレームワーク アーキテクチャ、ツールのパフォーマンスについて説明します。
最先端のモデル UOAIS-Net をトレーニングするために、レイ トレーシングによって SynTable を使用して生成されたサンプル データセットの使用を示します。
結果は、OSD-Amodal データセットで評価した場合、Sim-to-Real 転送のパフォーマンスが大幅に向上していることを示しています。
このツールは、ディープ ラーニングと合成データ生成の研究を進めるための、オープンソースの使いやすいフォトリアリスティックなデータセット ジェネレーターとして提供されています。

要約(オリジナル)

In this work, we present SynTable, a unified and flexible Python-based dataset generator built using NVIDIA’s Isaac Sim Replicator Composer for generating high-quality synthetic datasets for unseen object amodal instance segmentation of cluttered tabletop scenes. Our dataset generation tool can render a complex 3D scene containing object meshes, materials, textures, lighting, and backgrounds. Metadata, such as modal and amodal instance segmentation masks, occlusion masks, depth maps, bounding boxes, and material properties, can be generated to automatically annotate the scene according to the users’ requirements. Our tool eliminates the need for manual labeling in the dataset generation process while ensuring the quality and accuracy of the dataset. In this work, we discuss our design goals, framework architecture, and the performance of our tool. We demonstrate the use of a sample dataset generated using SynTable by ray tracing for training a state-of-the-art model, UOAIS-Net. The results show significantly improved performance in Sim-to-Real transfer when evaluated on the OSD-Amodal dataset. We offer this tool as an open-source, easy-to-use, photorealistic dataset generator for advancing research in deep learning and synthetic data generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google